VACE 14B：一体化视频创建与编辑

什么是 ComfyUI VACE 14B 工作流？

2025/5/24 更新 - 模型选项：

• 快速模式：FP8E5M2 模型 + 启用量化（更快，内存占用更低）
• 质量模式：FP8E4M3 模型 + 禁用量化（更高质量，速度较慢）

注意：不要在 FP8E4M3 模型中启用量化，否则可能会导致错误。

ComfyUI VACE 14B 是一个强大的统一框架，将各种视频生成和编辑功能集成到一个模型中。基于先进的 Wan2.1 基础，由阿里巴巴集团同义实验室开发，ComfyUI VACE 使创作者无需在专用工具之间切换即可执行 5 项基本的视频操作任务。此 ComfyUI VACE 14B 工作流利用 14B 参数模型的强大功能，通过直观的界面提供高质量的视频创建和编辑功能。

1. ComfyUI VACE 14B 的优势

• 一体化解决方案： ComfyUI VACE 提供了一个无需切换工具的视频创建和编辑的统一框架
• 高质量输出： 使用强大的 VACE 14B 模型生成最高 720p 分辨率的视频
• 灵活控制： ComfyUI VACE 工作流提供多种输入模式，包括参考图像、蒙版、深度图和文本提示
• 身份保留： 使用 VACE 14B 时，ComfyUI VACE 在转换和生成过程中保持主体身份
• 任务组合： ComfyUI VACE 允许您结合不同功能，通过 VACE 14B 进行复杂转换

2. ComfyUI VACE 14B 工作流中的五大关键功能

ComfyUI VACE 工作流包括 5 个独特的组件，每个组件专门用于由 VACE 14B 支持的不同视频创建和编辑任务：

1. Reference Image+ControlNet： ComfyUI VACE 让您将视频中的主要角色与参考图像中的角色互换，同时保持运动和结构完整，多亏了 VACE 14B
2. 两张图像生成视频： 使用 ComfyUI VACE，通过 VACE 14B，将两个人物或对象（分别取自独立的参考图像）合成为一个视频
3. 首尾帧： ComfyUI VACE 通过设置首帧和尾帧精确指导视频生成，确保通过 VACE 14B 实现帧间流畅运动
4. 视频对象编辑： ComfyUI VACE 允许您在视频中选择性地修改特定对象，同时利用 VACE 14B 保留其他对象
5. 视频扩展： 使用 ComfyUI VACE，通过 VACE 14B 技术执行空间扩展，以扩大视频帧，同时保持视觉一致性

3. ComfyUI VACE 14B 快速入门指南

3.1 ComfyUI VACE Reference Image+ControlNet 快速入门

1. 在 ComfyUI VACE 中选择 "Reference Image+ControlNet" 工作流组
2. 在 Load Video (Upload) 节点中加载您的源视频
3. 在 Load Image 节点中上传新主体的参考图像
   • 提示： 使用白色背景的参考图像通常可以在使用 VACE 14B 时获得更好的主体集成效果
4. 输入有关所需场景和风格的描述性提示
5. 使用负面提示避免 ComfyUI VACE 输出中由 VACE 14B 生成的不需要的元素
6. 推荐分辨率：建议使用 512x672 以提高 ComfyUI VACE 14B 的内存效率
7. 调整采样参数
8. 单击 "Run" 生成带有参考图像风格/主体的视频，使用 ComfyUI VACE 14B

3.2 ComfyUI VACE 两张图像生成视频快速入门

1. 在 ComfyUI VACE 中选择 "Two Images to Video" 工作流组
2. 将您的第一张参考图像上传到第一个 Load Image 节点
3. 将您的第二张参考图像上传到第二个 Load Image 节点
4. 这种由 VACE 14B 支持的 ComfyUI VACE 方法特别适合电子商务应用，并以其有效渲染细节（包括手部）的能力而闻名
5. 输入详细提示，描述所需场景、风格以及图像之间的运动或过渡特征
6. 在 Video Combine 节点中调整 frame_rate 以设置 ComfyUI VACE 输出中由 VACE 14B 创建的视频流畅度
7. 在 WanVideo Sampler 节点中配置采样参数
8. 单击 "Run" 生成带有 ComfyUI VACE 14B 的视频过渡

3.3 ComfyUI VACE 首尾帧快速入门

1. 在 ComfyUI VACE 界面中选择 "First and last frames" 工作流组
2. 将起始帧上传到第一个 Load Image 节点
3. 将结束帧上传到第二个 Load Image 节点
4. 配置 WanVideo VACE Start To End Frame 节点参数以获得最佳 VACE 14B 结果
5. 输入描述 ComfyUI VACE 处理所需运动和过渡风格的提示
6. 调整采样参数以微调 VACE 14B 生成
7. 单击 "Run" 创建带有 ComfyUI VACE 14B 的平滑过渡视频

3.4 ComfyUI VACE 视频对象编辑快速入门

1. 在 ComfyUI VACE 中选择 "Video Object Editing" 工作流组
2. 使用 Load Video (Upload) 节点上传您的源视频
3. 使用任何视频播放器手动截取您的视频中的一帧截图
4. 通过 bg_image 输入将此帧上传到 Points Editor 节点中——此帧将在 ComfyUI VACE 中用于 VACE 14B 处理的手动点注释
5. 使用 Load Image 节点上传您要插入或替换的对象的参考图像
6. 在 ComfyUI VACE Points Editor 中，按如下方式标记区域：
   • 绿色点（Shift + 左键单击）：标记要修改的区域（例如要替换的对象）
   • 红色点（Shift + 右键单击）：标记要保留的区域（例如背景或主体）
   • 右键单击现有点以删除它
7. S2/SAM2 Segmentation 模块将根据您的注释生成蒙版
8. （可选）使用 ComfyUI VACE 中的 Grow Mask With Blur 节点优化蒙版
9. 输入正面提示描述新对象或修改（例如 "传统红雨伞"）
10. 输入负面提示以排除 ComfyUI VACE 输出中由 VACE 14B 生成的不需要的元素
11. 单击 "Run" 生成根据您的输入使用 ComfyUI VACE 14B 替换对象的编辑视频

3.5 ComfyUI VACE 视频扩展快速入门

1. 在 ComfyUI VACE 中选择 "Video Expansion" 工作流组
2. 在 Load Video (Upload) 节点中加载您的源视频
3. 使用您所需的扩展设置配置 ImagePad KJ 节点
4. 输入描述 ComfyUI VACE 通过 VACE 14B 处理应出现在扩展区域中的内容的提示
5. ComfyUI VACE 由 VACE 14B 增强，提供更好的边缘处理以实现更无缝的扩展
6. 调整采样参数以与原始视频保持一致
7. 单击 "Run" 创建带有 ComfyUI VACE 14B 的扩展视频

4. ComfyUI VACE 14B 的关键参数

ComfyUI VACE 的常见采样参数：

• strength: 1.0 (ComfyUI VACE 14B 的最大效果默认值)
  • 较高 = ComfyUI VACE 中 VACE 14B 算法的较强效果
  • 较低 = 更多保留原始内容
• guidance: 7-9 (使用 VACE 14B 时推荐的 ComfyUI VACE 最佳结果)
  • 较高 = 更符合参考/条件但创意较少
  • 较低 = 更具创意但可能偏离参考
• steps: 20-25 (推荐用于 ComfyUI VACE 14B)
  • 较高 = 更高质量但生成速度较慢
  • 较低 = 生成速度较快但可能质量较低
• cfg: 4.0 (推荐用于与 VACE 14B 集成的 ComfyUI VACE)
  • 较高 = 更强的提示影响但可能结果不够自然
  • 较低 = 更自然但可能忽略提示细节
• seed: 18 (ComfyUI VACE 14B 示例)
  • 相同种子 + 相同设置 = 相同结果
  • 更改以在 ComfyUI VACE 输出中通过 VACE 14B 生成不同变体
• shift: 5.0 (ComfyUI VACE 14B 默认值)
  • 较高 = 更多运动变化
  • 较低 = 更保守的运动

5. ComfyUI VACE 14B 的高级参数

WanVideo VACE：

• num_frames: 29 (ComfyUI VACE 14B 中参考工作流的默认值)
  • 较高 = 更长的视频但更多处理时间
  • 较低 = 更短的视频但使用 ComfyUI VACE 利用 VACE 14B 更快生成
• vace_start_percent: 0.00 (使用 VACE 14B 时 ComfyUI VACE 中的默认值)
  • 控制在生成过程中 VACE 效果开始的位置
• vace_end_percent: 1.00 (ComfyUI VACE 14B 中的默认值)
  • 控制在生成过程中 VACE 效果结束的位置

WanVideo VACE Start To End Frame：

• num_frames: 40 (ComfyUI VACE 14B 中的默认值)
  • 较高 = 更长、更流畅的过渡但更多处理时间
  • 较低 = 更短的视频但使用 ComfyUI VACE 由 VACE 14B 提供支持的更快生成
• empty_frame_level: 0.50 (ComfyUI VACE 14B 的默认值)
  • 较高 = 更具创意的中间帧
  • 较低 = 更直接的插值

ComfyUI VACE 中的视频组合：

• frame_rate: 16 (ComfyUI VACE 支持 VACE 14B 的默认值)
  • 较高 = 更流畅的运动但文件大小更大
  • 较低 = 运动更不流畅但文件大小更小
• format: video/h264-mp4 (ComfyUI VACE 14B 中的默认值)
• pix_fmt: yuv420p (ComfyUI VACE 具有 VACE 14B 的特性)

ComfyUI VACE 14B 的实验参数：

• cfg_zero_star: true (ComfyUI VACE 使用 VACE 14B 的默认值)
  • 实验参数可能影响生成质量
• fresca_scale_high: 1.25 (ComfyUI VACE 14B 的默认值)
  • 控制高频细节保留
• fresca_freq_cutoff: 20 (ComfyUI VACE 由 VACE 14B 增强的默认值)
  • 细节保留的频率截止

致谢

此 ComfyUI VACE 14B 工作流由 VACE（视频一体化创建与编辑）提供支持，由 阿里巴巴集团同义实验室的江泽音子、韩震、毛潮杰、张京峰、潘玉林和刘宇开发。ComfyUI VACE 集成了 Kijai 的节点和适配 () 以实现 VACE 14B。VACE 14B 的原始研究论文可在 查看。这些 ComfyUI VACE 工作流具有 VACE 14B 功能，亦可在没有足够本地硬件的情况下在 Ringhub 上运行。