Wan2.2 动画 | 照片到真实动态视频

Wan2.2 动画：ComfyUI 中的全动态参考到视频动画

Wan2.2 动画将单个参考图像转化为栩栩如生的表演，跟随驱动视频的全身动作和面部表情。这个 ComfyUI Wan2.2 动画工作流程融合了姿态转移、面部捕捉、背景控制和 LoRA 附加模块，使角色在保持身份完整的同时自然地移动。

专为头像、表演重现、音乐视频和故事节拍设计，Wan2.2 动画生成干净、时间上稳定的剪辑，支持可选的音频传递、质量提升和插值。它作为一个指导图形提供，有合理的默认设置，因此您可以专注于创意选择而不是技术细节。

Comfyui Wan2.2 动画工作流程中的关键模型

• Wan 2.2 Animate 14B (I2V) fp8 scaled。核心视频模型，解释姿势、面部、图像和文本指导以合成带有身份保留的运动轨迹。Model set
• Wan 2.1 VAE bf16。用于编码/解码 Wan 家族潜在变量的匹配 VAE，确保色彩保真度和清晰度。VAE
• UMT5‑XXL 文本编码器。提供强大的多语言文本条件，用于正面和负面提示。Encoder
• CLIP ViT‑H/14 视觉编码器。从参考图像中提取视觉嵌入，以保留身份和风格。Paper
• 可选 Wan LoRAs。用于照明和 I2V 行为控制的轻量适配器，如 Lightx2v I2V 14B 和 Relight。Lightx2v • Relight
• Segment Anything 2 (SAM 2)。用于隔离主体或背景的高质量图像/视频分割。Paper
• DWPose。用于面部/姿势感知裁剪和遮罩的准确 2D 姿态估计。Repo
• RIFE。快速视频帧插值以增强播放流畅度。Paper

如何使用 Comfyui Wan2.2 动画工作流程

整体流程。图形接收一个驱动视频和一个参考图像，准备一个干净的主体/背景和一个面部感知裁剪，然后将姿势、面部、图像和文本嵌入到 Wan2.2 动画中进行采样和解码。最后阶段在导出前放大细节并可选地插值帧。

• 模型
  • 该组加载 Wan2.2 动画基础、匹配的 VAE、文本/视觉编码器和任何选定的 LoRAs。WanVideoModelLoader (#22) 和 WanVideoSetLoRAs (#48) 连接模型和适配器，而 WanVideoVAELoader (#38) 和 CLIPLoader (#175) 提供 VAE 和文本骨干。
  • 如果您计划调整 LoRAs（例如，重新照明或 I2V 风格），一次只保持一个或两个处于活动状态以避免冲突，然后使用提供的拼贴节点进行预览。

大小

• 在大小组中设置目标 width 和 height，并确认 frame_count 与您计划从驱动视频加载的帧匹配。VHS_LoadVideo (#63) 报告数量；保持采样器的 num_frames 一致以避免尾部截断。
• PixelPerfectResolution (#152) 辅助工具读取驱动剪辑以建议稳定的生成尺寸。

背景遮罩

• 在 VHS_LoadVideo (#63) 中加载您的驱动视频；音频会自动提取以供后续传递。使用 PointsEditor (#107) 在主体上放置几个正点，然后运行 Sam2Segmentation (#104) 生成一个干净的遮罩。
• GrowMask (#100) 和 BlockifyMask (#108) 稳定和扩展边缘，DrawMaskOnImage (#99) 进行快速检查。此遮罩让 Wan2.2 动画专注于表演者，同时尊重原始背景。

参考图像

• 放入一个单一、光线良好的人像或全身静态图像。ImageResizeKJv2 (#64) 将其匹配到您的工作分辨率，输出被存储用于动画阶段。
• 为了最佳的身份保留，选择一张面部清晰、遮挡最小的参考图像。

面部图像

• 管道构建一个面部感知裁剪以驱动微表情。DWPreprocessor (#177) 找到姿态关键点，FaceMaskFromPoseKeypoints (#120) 隔离面部区域，ImageCropByMaskAndResize (#96) 生成对齐的面部裁剪。包括一个小的预览导出器用于快速质量检查（VHS_VideoCombine (#112)）。

采样与解码

• 参考图像通过 WanVideoClipVisionEncode (#70) 嵌入，提示通过 CLIPTextEncode (#172, #182, #183) 编码，所有内容由 WanVideoAnimateEmbeds (#62) 融合。
• WanVideoSampler (#27) 运行核心 Wan2.2 动画扩散。您可以在“上下文窗口”模式下工作以处理超长剪辑，或使用原始长生成路径；包含的注释解释了何时将上下文窗口与帧数匹配以保持稳定性。采样器的输出由 WanVideoDecode (#28) 解码，并通过可选的音频传递保存（VHS_VideoCombine (#30)）。

结果拼贴

• ImageConcatMulti (#77, #66) 和 GetImageSizeAndCount (#42) 组装一个参考、面部、姿势和输出的并排面板。使用它在最终导出前检查身份和运动对齐。

放大和插值

• UltimateSDUpscaleNoUpscale (#180) 使用提供的 UNet (UNETLoader (#181)) 和 VAE (VAELoader (#184)) 精细化边缘和纹理；正面/负面提示可以轻柔地引导细节。
• RIFEInterpolation (#188) 可选地加倍运动流畅度，VHS_VideoCombine (#189) 写入最终的 Wan2.2 动画剪辑。

Comfyui Wan2.2 动画工作流程中的关键节点

• VHS_LoadVideo (#63)

  • 角色。加载驱动视频，输出帧，提取音频，并报告帧数以保持下游一致性。
  • 提示。保持报告的帧总数与采样器的生成长度一致，以防止过早截断或黑帧。

• Sam2Segmentation (#104) + PointsEditor (#107)

  • 角色。互动主体遮罩，帮助 Wan2.2 动画专注于表演者，避免背景纠缠。
  • 提示。几个放置良好的正点加上适度的 GrowMask 往往能比复杂背景更稳定而不产生光晕。参见 SAM 2 以获取视频感知分割指导。Paper

• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)

  • 角色。通过检测到的关键点衍生出强大的面部遮罩和对齐裁剪，以提高嘴唇、眼睛和下颚的保真度。
  • 提示。如果表情看起来很淡，验证面部遮罩是否覆盖整个下颚和面颊；调整点后重新运行裁剪。Repo

• WanVideoModelLoader (#22) 和 WanVideoSetLoRAs (#48)

  • 角色。加载 Wan2.2 动画并应用可选的 LoRAs 以进行重新照明或 I2V 偏差。
  • 提示。在诊断光照或运动伪影时一次激活一个 LoRA；谨慎堆叠以避免过多约束。Models • LoRAs

• WanVideoAnimateEmbeds (#62) 和 WanVideoSampler (#27)

  • 角色。将图像、面部、姿势和文本条件融合成视频潜在变量，并使用 Wan2.2 动画采样序列。
  • 提示。对于超长剪辑，切换到上下文窗口模式，并保持其长度与预期的帧数同步，以保持时间一致性。Wrapper repo

• UltimateSDUpscaleNoUpscale (#180)

  • 角色。解码后的轻量细节处理，支持平铺以保持内存稳定。
  • 提示。如果看到平铺缝隙，适度增加重叠，并保持提示引导非常柔和，以避免模型外纹理。KJNodes

• RIFEInterpolation (#188)

  • 角色。通过插入中间帧来平滑运动，而不重新渲染剪辑。
  • 提示。在放大后应用插值，以便光流看到最终的细节配置文件。Paper

可选附加

• 为了最干净的身份，选择一个清晰、正面的参考，并保持配件与驱动视频一致。
• 如果出现背景闪烁，优化 SAM 2 遮罩并重新运行；遮罩通常是最快的场景泄漏修复方法。
• 保持宽度和高度与目标平台和输入的长宽比一致；在 Wan2.2 动画中，16 的倍数的正方形像素效果良好。
• 驱动视频中的音频可以在导出时传递；如果您喜欢静音，请在保存节点中禁用音频。
• 从一个 LoRA 开始；如果您同时添加重新照明和 I2V，请先分别测试以了解它们的影响。

您可能会发现有用的链接：

• Kijai 的 Wan2.2 动画模型和资产：WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• 使用的 ComfyUI 包装器和节点：ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes

致谢

此工作流程实现并构建在以下作品和资源之上。我们感谢 Wan2.2 和 @ArtOfficialLabs 对 Wan2.2 动画演示的贡献和维护。有关权威细节，请参阅下面链接的原始文档和存储库。

资源

• Wan2.2/Wan2.2 动画演示
  • 文档/发行说明：Wan2.2 Animate Demo @ArtOfficialLabs

注意：使用引用的模型、数据集和代码需遵循其作者和维护者提供的各自许可和条款。