Semantic Kernel智能体框架生产级优化实践
2026/10/7 17:39:46
如何用ComfyUI_MiniMaxH3_Director编辑已有视频：v2v / rv2v源视频时间轴实战
【免费下载链接】ComfyUI_MiniMaxH3_DirectorMulti-segment MiniMax H3 Director for official ComfyUI MiniMax-H3项目地址: https://gitcode.com/gh_mirrors/com/ComfyUI_MiniMaxH3_Director
ComfyUI_MiniMaxH3_Director是基于 ComfyUI 官方 MiniMax-H3 的多段音视频导演台插件。它的v2v（视频转视频）和rv2v（参考素材改视频）模式专为「编辑已有视频」而生：把源视频拖进导演台时间轴，分段、写提示词，AI 逐段重绘，还能保留原声或让模型生成新声音。本文带你走完 v2v / rv2v 源视频时间轴的完整实战流程。
一、v2v 与 rv2v：两个「改视频」模式怎么选？
导演台支持 6 种任务，其中与「编辑已有视频」直接相关的是这两个：
| 模式 | 一句话说明 | 需要素材 | 适用场景 |
|---|---|---|---|
| v2v | 源视频时间轴剪辑，每段源画面自动绑定为<Video 1> | 只需源视频 | 重绘/风格迁移/局部改写已有片段 |
| rv2v | 在 v2v 基础上额外挂载参考图（图片1–9）与参考音频（音频1–3） | 源视频 + 参考图/音频 | 换人、换角色、注入参考主体的视频编辑 |
💡 模式定义可见 lib/task_modes.py：v2v 即 "source timeline clip as
<Video 1>reference"，rv2v 即 "source<Video 1>+<Picture N>"。
两者都使用ref2vaUNET（与 t2v/i2v/fl2v 用的fl2va不同），且都需要audio_vae。
二、准备工作：模型与安装清单
1. 安装插件
cd ComfyUI/custom_nodes git clone https://gitcode.com/gh_mirrors/com/ComfyUI_MiniMaxH3_Director pip install -r ComfyUI_MiniMaxH3_Director/requirements.txt重启 ComfyUI 即可。智能分镜分割（PySceneDetect）、源视频解码等依赖也写在 requirements.txt 中。
2. 模型文件清单
| 用途 | 文件名 | 放置目录 |
|---|---|---|
| UNET（v2v / rv2v 专用） | minimax_h3_ref2va_pruned_int8_convrot.safetensors | models/diffusion_models/ |
CLIP（type 选minimax） | qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors | models/text_encoders/ |
| 视频 VAE | minimax_h3_video_vae_fp16.safetensors | models/vae/ |
| 音频 VAE | minimax_h3_audio_vae_fp32.safetensors | models/vae/ |
⚠️ 常见坑：CLIP Loader 的type 必须选
minimax，否则无法正确编码提示词。
3. 加载示例工作流
仓库自带两份可直接拖入画布的示例：
- minimax_h3_director_v2v.json — 源视频时间轴编辑
- minimax_h3_director_rv2v.json — 源视频 + 参考图/音频
工作流说明详见 example_workflows/README.md。
三、v2v 快速上手：三步编辑源视频
第 1 步：上传源视频并分段
在导演台节点内选择任务类型v2v，上传你的源视频。分段有三种方式：
| 分段方式 | 说明 | 适合场景 |
|---|---|---|
| 切分 | 手动指定分割点，选中后可删除 | 精确控制每个镜头 |
| 均分 | 按段数平均切分 | 素材均匀、无明确镜头 |
| 智能分割 | 基于 PySceneDetect 自动识别镜头切换 | 已剪好的多镜头视频 |
时间轴会实时预览每段范围与缩略图，方便确认切分位置。
第 2 步：每段写提示词
每一段独立写提示词，描述你希望这段画面变成什么样。系统会自动把该段源画面绑定为<Video 1>，你无需手动引用——提示词中直接描述运动、镜头、风格变化即可。
导演台还提供一个global_prompt全局提示词输入口，用于补充整体氛围描述。
第 3 步：Queue 生成
默认采样参数（与官方 MiniMax H3 模板一致）：
- 画布864×480（0.4MP 16:9），124 帧 @ 24fps ≈ 5 秒
- 25steps，
res_multistep+simple，CFG1.0 - Sigma shift：video12/ audio3
多段时可用「选择运行」只跑勾选的片段，未勾选段用缓存或源画面填充——改一段、重跑一段，不用整片重来。
四、rv2v 进阶：给源视频注入参考主体
rv2v 在 v2v 的源时间轴之上，额外支持两类参考素材：
| 素材 | 数量上限 | 提示词引用 |
|---|---|---|
| 参考图（人物/角色/物体） | 图片 1–9 | <Picture N> |
| 参考音频（声音/配音） | 音频 1–3 | <Audio J> |
典型用法：视频换人。上传原视频并分段 → 在参考图槽位上传目标人物的照片 → 某段提示词写「<Picture 1>中的人物在源画面中做同样的动作」。参考图只在需要它的组生效，不挂参考素材的组等同纯 v2v。
提示词中也支持输入
@快速引用素材，写作更顺手。
五、声音三模式：生成 / 原声 / 静音
v2v / rv2v 的输出音频有三种模式（逻辑见 director/audio_export.py）：
| 模式 | 行为 | 适合场景 |
|---|---|---|
| 生成声音 | 模型与画面同次采样生成新音频 | 风格迁移、需要新氛围音 |
| 使用原声 | 从源视频提取音轨直接拼接 | 保留原片台词/音效 |
| 静音 | 不输出音频 | 后期自己配乐 |
细节注意：选「使用原声」时，如果某段源画面没有音轨，该段会自动回退为静音，且运行报告中会明确说明，不会出错崩溃。
六、参数与文件速查
| 项目 | 值 / 路径 |
|---|---|
| 主节点 | MiniMax H3 Director，定义见 nodes/director.py |
| 输入 | model→video_vae→audio_vae→clip |
| 输出 | images/audio/fps/frame_count/source_images/report |
| v2v 示例 | minimax_h3_director_v2v.json |
| rv2v 示例 | minimax_h3_director_rv2v.json |
| 任务模式定义 | lib/task_modes.py |
| 任务提示词模板 | lib/task_prompts.py |
| 完整文档 | README.md（中文）/ README_EN.md |
report输出口会给出分段计划和每段任务摘要，排查"这一段为什么没按提示词走"时先看它。
七、常见问题 FAQ
Q：v2v 和 r2v 有什么区别？r2v 是「纯参考素材生成」，没有源视频；v2v / rv2v 才有源视频时间轴。要做「改已有视频」就选 v2v / rv2v。
Q：为什么选了 rv2v 却报缺 audio_vae？v2v / rv2v / r2v 都需要音频 VAE 参与 AV 分离链路，请务必把minimax_h3_audio_vae接到导演台的audio_vae口。
Q：只改其中一段，其余段会不会重新生成？不会。开启「选择运行」并只勾选目标段，其余段用缓存或源画面填充，仅勾选段参与采样。
Q：想要更高清的成片怎么办？导演台另支持外接Refine 二采/放大（refine口）与SelfLift 渐进一采（selflift口），在低分辨率验证时间轴后再接上提画质，示例见 minimax_h3_director_二采_加速.json。
写在最后
v2v / rv2v 把「编辑已有视频」变成了一条可复用的时间轴流水线：上传 → 分段 → 提示词 → 选择运行。配合智能分镜与段级缓存，长片编辑也能逐段迭代。先从 v2v 示例工作流 跑通一段 5 秒的片段，再逐步叠加参考素材与二采，是最稳的上手路径。
【免费下载链接】ComfyUI_MiniMaxH3_DirectorMulti-segment MiniMax H3 Director for official ComfyUI MiniMax-H3项目地址: https://gitcode.com/gh_mirrors/com/ComfyUI_MiniMaxH3_Director
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考