Wan 2.2 VACE | 姿势控制的视频生成器

ComfyUI 的 Wan 2.2 VACE 姿势驱动视频生成

此 ComfyUI Wan 2.2 VACE 工作流将单个参考图像转化为与源剪辑的姿势、节奏和相机运动相匹配的视频。它使用 Wan 2.2 VACE 在翻译复杂的身体运动为流畅、逼真的动画的同时保持身份。

设计用于舞蹈生成、运动转移和创意角色动画，该工作流自动从参考图像中提示风格，从源视频中提取运动信号，并运行一个平衡运动连贯性和细节的两阶段 Wan 2.2 采样器。

ComfyUI Wan 2.2 VACE 工作流中的关键模型

• Wan 2.2 14B 文本到视频模型（高噪声和低噪声变体）。双阶段使用高噪声主干进行鲁棒的运动塑造，然后是低噪声主干进行细节精炼。
• Wan 2.1 VAE (bf16)。对 Wan 2.2 VACE 的潜在视频帧进行解码和编码。
• Google UMT5-XXL 编码器。提供 Wan 2.2 用于条件的高容量文本特征。 Model card
• Microsoft Florence-2 (Flux Large)。从参考图像生成丰富的字幕以引导和风格化提示。 Repo
• Depth Anything v2 (ViT-L)。从运动源视频生成每帧深度图以指导结构和运动。 Repo

如何使用 ComfyUI Wan 2.2 VACE 工作流

该工作流有五个分组阶段：输入、PROMPT、模型、SAMPLING 和输出。您提供一个参考图像和一个短的运动视频。然后图形计算运动指导，编码 VACE 身份特征，运行两次 Wan 2.2 采样器，并保存最终动画以及可选的并排预览。

输入

在 VHS_LoadVideo (#141) 中加载一个运动源剪辑。您可以使用简单的控件修剪并限制内存帧。帧被调整大小以保持一致性，然后 DepthAnythingV2Preprocessor (#135) 计算出一个密集的深度序列，捕捉姿势、布局和相机运动。使用 LoadImage (#113) 加载您的身份图像；图像会自动调整大小并进行预览，以便在采样前验证框架。

PROMPT

Florence2Run (#137) 分析参考图像并返回详细的字幕。Style Prompt (#138) 将该字幕与短风格短语连接，然后 WanVideoTextEncode (#16) 使用 UMT5-XXL 对最终的正面和负面提示进行编码。您可以自由编辑风格短语或完全替换正面提示，以获得更强的创意指导。此提示嵌入条件两个采样阶段，以便生成的视频保持对参考的忠实。

模型

WanVideoVAELoader (#38) 加载用于编码/解码的 Wan VAE。两个 WanVideoModelLoader 节点准备 Wan 2.2 14B 模型：一个高噪声和一个低噪声，每个都附加一个在 WanVideoExtraModelSelect (#99, #107) 中选择的 VACE 模块。可选的精炼 LoRA 通过 WanVideoLoraSelect (#56, #97) 附加，让您在不更改基础模型的情况下调整清晰度或风格。配置旨在让您可以交换 VACE 权重、LoRA 或噪声变体而不接触图形的其余部分。

SAMPLING

WanVideoVACEEncode (#100) 将三个信号融合为 VACE 嵌入：运动序列（深度帧）、您的参考图像和目标视频几何。第一个 WanVideoSampler (#27) 使用高噪声模型运行到分步，建立运动、透视和全局风格。第二个 WanVideoSampler (#90) 从该潜在继续，并使用低噪声模型完成，以在保持运动锁定到源的同时恢复纹理、边缘和小细节。短 CFG 计划和步骤分割控制每个阶段对结果的影响程度。

输出

WanVideoDecode (#28) 将最终潜在转换回帧。您将获得两个保存的视频：一个干净的渲染和一个并排连接，将生成的帧与参考并排放置以进行快速 QA。一个单独的“深度图预览”显示推断的深度序列，以便您一目了然地诊断运动指导。帧率和文件名设置可在 VHS_VideoCombine 输出中使用 (#139, #60, #144)。

ComfyUI Wan 2.2 VACE 工作流中的关键节点

WanVideoVACEEncode (#100)

创建两个采样器使用的 VACE 身份和几何嵌入。提供您的运动帧和参考图像；节点处理宽度、高度和帧数。如果更改持续时间或宽高比，请保持此节点同步，以便嵌入匹配您的目标视频布局。

WanVideoSampler (#27)

使用高噪声 Wan 2.2 模型的第一阶段采样器。调整 steps、短 cfg 计划和 end_step 分割，以决定轨迹分配给运动塑造的程度。较大的运动或相机变化可能受益于稍晚的分割。

WanVideoSampler (#90)

使用低噪声 Wan 2.2 模型的第二阶段采样器。将 start_step 设置为相同的分割值，以便无缝继续第一阶段。如果看到纹理过度锐化或漂移，减少后期 cfg 值或降低 LoRA 强度。

DepthAnythingV2Preprocessor (#135)

从源视频中提取稳定的深度序列。使用深度作为运动指导有助于 Wan 2.2 VACE 保持场景布局、手势和遮挡。对于快速迭代，可以将输入帧调整得更小；对于最终渲染，请提供更高分辨率的帧以获得更好的结构保真度。

WanVideoTextEncode (#16)

使用 UMT5-XXL 对正面和负面提示进行编码。提示由 Florence2Run 自动生成，但您可以覆盖以进行艺术指导。保持提示简洁；使用 VACE 身份指导，较少的关键词通常会产生更简洁、不受约束的运动转移。

可选附加功能

• 选择具有清晰主体分离和一致照明的运动剪辑，以获得最稳定的 Wan 2.2 VACE 转换。
• 使用并排输出在进行最终渲染前验证面部对齐和服装连续性。
• 如果运动看起来太僵硬，请将分割稍微提前，以便低噪声阶段有更多空间进行细化。
• 如果身份漂移，稍微增加 LoRA 影响或简化提示。
• 深度预览是您的朋友：如果深度噪声较大，请尝试不同的源剪辑或调整输入调整大小以减少伪影。

致谢

此工作流实现并基于以下作品和资源。我们对 ComfyUI 社区 Wan 2.2 VACE 源的创建者表示诚挚感谢，感谢他们的贡献和维护。有关权威详细信息，请参阅下文链接的原始文档和存储库。

资源

• Wan 2.2 VACE Source/Wan 2.2 VACE Source
  • 文档 / 发布说明: Wan 2.2 VACE @ComfyUI

注意：所引用的模型、数据集和代码的使用受其作者和维护者提供的各自许可证和条款的约束。