VACE 14B：一体化视频创建与编辑

什么是 ComfyUI VACE 14B 工作流程？

ComfyUI VACE 14B 是一个强大的统一框架，将各种视频生成和编辑功能集成到一个模型中。基于先进的 Wan2.1 基础，由阿里巴巴集团的同义实验室开发，ComfyUI VACE 允许创作者在不切换工具的情况下执行 5 项基本的视频操作任务。这个 ComfyUI VACE 14B 工作流程利用 14B 参数模型的力量，通过直观的界面提供高质量的视频创建和编辑功能。

1. ComfyUI VACE 14B 的优势

• 一体化解决方案： ComfyUI VACE 提供了一个统一的视频创建和编辑框架，无需切换工具
• 高质量输出： 使用强大的 VACE 14B 模型生成高达 720p 分辨率的视频
• 灵活控制： ComfyUI VACE 工作流程提供了多种输入模式，包括参考图像、蒙版、深度图和文本提示
• 身份保留： 使用 VACE 14B 时，ComfyUI VACE 在转换和生成过程中保持主体身份
• 任务组合： ComfyUI VACE 允许您通过 VACE 14B 组合不同的功能进行复杂转换

2. ComfyUI VACE 14B 工作流程中的五大关键功能

ComfyUI VACE 工作流程包括 5 个不同的组件，每个组件专注于由 VACE 14B 提供支持的不同视频创建和编辑任务：

1. 参考图像+ControlNet： ComfyUI VACE 允许您用参考图像中的角色替换视频中的主角，同时保持运动和结构不变，感谢 VACE 14B
2. 两张图像生成视频： 使用 ComfyUI VACE，将两个人物或物体结合成一个视频，每个都是通过 VACE 14B 从单独的参考图像中获取的
3. 首尾帧： ComfyUI VACE 通过设置首尾帧精确引导视频生成，确保通过 VACE 14B 在帧间实现流畅运动
4. 视频对象编辑： ComfyUI VACE 允许您选择性地修改视频中的特定对象，同时利用 VACE 14B 保留其他对象
5. 视频扩展： 使用 ComfyUI VACE，进行空间扩展以扩大视频帧，同时保持视觉一致性，利用 VACE 14B 技术

3. ComfyUI VACE 14B 快速入门指南

3.1 ComfyUI VACE 参考图像+ControlNet 快速入门

1. 在 ComfyUI VACE 中选择 "Reference Image+ControlNet" 工作流程组
2. 在 Load Video (Upload) 节点中加载您的源视频
3. 在 Load Image 节点中上传新主体的参考图像
   • 提示： 使用白色背景的参考图像通常在使用 VACE 14B 时能更好地整合主体
4. 输入关于所需场景和风格的描述性提示
5. 使用负面提示避免在 ComfyUI VACE 输出中生成不需要的元素，由 VACE 14B 生成
6. 推荐分辨率：512x672，推荐用于 ComfyUI VACE 14B 的内存效率
7. 调整采样参数
8. 点击 "Run" 以使用 ComfyUI VACE 14B 根据参考图像的风格/主体生成视频

3.2 ComfyUI VACE 两张图像生成视频快速入门

1. 在 ComfyUI VACE 中选择 "Two Images to Video" 工作流程组
2. 将第一张参考图像上传到第一个 Load Image 节点
3. 将第二张参考图像上传到第二个 Load Image 节点
4. 这种由 VACE 14B 提供支持的 ComfyUI VACE 方法特别适合电子商务应用，因其能够有效渲染精细细节而闻名，包括手部细节
5. 输入详细的提示，描述所需的场景、风格以及图像之间的运动或过渡特性
6. 在 Video Combine 节点中调整 frame_rate 以设置 ComfyUI VACE 输出的视频流畅度，由 VACE 14B 生成
7. 在 WanVideo Sampler 节点中配置采样参数
8. 点击 "Run" 以使用 ComfyUI VACE 14B 生成视频过渡

3.3 ComfyUI VACE 首尾帧快速入门

1. 在 ComfyUI VACE 界面中选择 "First and last frames" 工作流程组
2. 将起始帧上传到第一个 Load Image 节点
3. 将结束帧上传到第二个 Load Image 节点
4. 配置 WanVideo VACE Start To End Frame 节点参数以获得最佳 VACE 14B 结果
5. 输入描述所需运动和过渡风格的提示，以供 ComfyUI VACE 处理
6. 调整采样参数以微调 VACE 14B 生成
7. 点击 "Run" 以使用 ComfyUI VACE 14B 创建流畅的过渡视频

3.4 ComfyUI VACE 视频对象编辑快速入门

1. 在 ComfyUI VACE 中选择 "Video Object Editing" 工作流程组
2. 使用 Load Video (Upload) 节点上传您的源视频
3. 使用任何视频播放器手动截取视频中的一帧
4. 将此帧上传到 Points Editor 节点的 bg_image 输入中——此帧将用于在 ComfyUI VACE 中手动进行点注释以进行 VACE 14B 处理
5. 使用 Load Image 节点上传您想要插入或替换的物体的参考图像
6. 在 ComfyUI VACE Points Editor 中，标记区域如下：
   • 绿色点 (Shift + 左键点击)：标记要修改的区域（例如要替换的物体）
   • 红色点 (Shift + 右键点击)：标记要保留的区域（例如背景或主体）
   • 右键点击现有点以删除
7. S2/SAM2 Segmentation 模块将根据您的注释生成蒙版
8. （可选）使用 ComfyUI VACE 中的 Grow Mask With Blur 节点细化蒙版
9. 输入正面提示以描述新物体或修改（例如 "传统的红色雨伞"）
10. 输入负面提示以排除不需要的元素，从您的 ComfyUI VACE 输出中生成，由 VACE 14B 生成
11. 点击 "Run" 以根据您的输入使用 ComfyUI VACE 14B 生成编辑后的视频并替换物体

3.5 ComfyUI VACE 视频扩展快速入门

1. 在 ComfyUI VACE 中选择 "Video Expansion" 工作流程组
2. 在 Load Video (Upload) 节点中加载您的源视频
3. 配置 ImagePad KJ 节点以满足您的扩展设置
4. 输入描述在扩展区域中应出现的内容的提示，以通过 VACE 14B 进行 ComfyUI VACE 处理
5. 由 VACE 14B 增强的 ComfyUI VACE 提供更好的边缘处理，以实现更无缝的扩展
6. 调整采样参数以与原视频保持一致
7. 点击 "Run" 以使用 ComfyUI VACE 14B 创建扩展视频

4. ComfyUI VACE 14B 的关键参数

ComfyUI VACE 的常见采样参数：

• strength: 1.0 (ComfyUI VACE 14B 的最大效果默认值)
  • 较高 = ComfyUI VACE 中 VACE 14B 算法的效果更强
  • 较低 = 更多保留原始内容
• guidance: 7-9 (使用 VACE 14B 时 ComfyUI VACE 的最佳推荐)
  • 较高 = 更忠实于参考/条件但创造性较低
  • 较低 = 更具创造性但可能偏离参考
• steps: 20-25 (ComfyUI VACE 14B 的推荐值)
  • 较高 = 更好的质量但生成速度较慢
  • 较低 = 生成速度较快但质量可能较低
• cfg: 4.0 (与 VACE 14B 集成的 ComfyUI VACE 推荐值)
  • 较高 = 提示影响更强但结果可能不够自然
  • 较低 = 更自然但可能忽略提示细节
• seed: 18 (ComfyUI VACE 14B 的示例值)
  • 相同种子 + 相同设置 = 相同结果
  • 改变以获得通过 VACE 14B 生成的 ComfyUI VACE 输出的不同变体
• shift: 5.0 (ComfyUI VACE 14B 的默认值)
  • 较高 = 更多运动变化
  • 较低 = 更保守的运动

5. ComfyUI VACE 14B 的高级参数

WanVideo VACE：

• num_frames: 29 (ComfyUI VACE 14B 参考工作流程的默认值)
  • 较高 = 视频更长但处理时间更长
  • 较低 = 视频较短但使用 ComfyUI VACE 生成更快，利用 VACE 14B
• vace_start_percent: 0.00 (使用 VACE 14B 时 ComfyUI VACE 的默认值)
  • 控制 VACE 效果在生成过程中的开始位置
• vace_end_percent: 1.00 (ComfyUI VACE 14B 的默认值)
  • 控制 VACE 效果在生成过程中的结束位置

WanVideo VACE Start To End Frame：

• num_frames: 40 (ComfyUI VACE 14B 的默认值)
  • 较高 = 更长、更流畅的过渡但处理时间更长
  • 较低 = 视频较短但使用 ComfyUI VACE 生成更快，由 VACE 14B 提供支持
• empty_frame_level: 0.50 (ComfyUI VACE 14B 的默认值)
  • 较高 = 更具创造性的中间帧
  • 较低 = 更直接的插值

ComfyUI VACE 中的视频合并：

• frame_rate: 16 (ComfyUI VACE 支持 VACE 14B 的默认值)
  • 较高 = 运动更流畅但文件大小更大
  • 较低 = 运动更不连贯但文件大小更小
• format: video/h264-mp4 (ComfyUI VACE 14B 的默认值)
• pix_fmt: yuv420p (ComfyUI VACE 特色 VACE 14B 的默认值)

ComfyUI VACE 14B 的实验参数：

• cfg_zero_star: true (ComfyUI VACE 使用 VACE 14B 的默认值)
  • 实验参数可能影响生成质量
• fresca_scale_high: 1.25 (ComfyUI VACE 14B 的默认值)
  • 控制高频细节保留
• fresca_freq_cutoff: 20 (ComfyUI VACE 由 VACE 14B 增强的默认值)
  • 细节保留的频率截断

鸣谢

此 ComfyUI VACE 14B 工作流程由 VACE (视频一体化创建与编辑) 提供支持，由阿里巴巴集团同义实验室的 Zeyinzi Jiang、Zhen Han、Chaojie Mao、Jingfeng Zhang、Yulin Pan 和 Yu Liu 开发。ComfyUI VACE 集成了 Kijai ( ) 的节点与改编来实现 VACE 14B。VACE 14B 的原始研究论文可在 查阅。没有足够本地硬件的用户也可以在 Ringhub 上运行这些 ComfyUI VACE 工作流程，特色 VACE 14B。