ComfyUI>工作流>Wan 2.2 Animate | 角色替换与唇同步

Wan 2.2 Animate | 角色替换与唇同步

Workflow Name: RunComfy/Wan-2.2-Animate-Swap-Lip-Sync

Workflow ID: 0000...1307

通过此ComfyUI设置，您可以通过自动匹配演员或头像的表情、语言和动作来进行转换。它利用姿态跟踪和面部检测来动画化替换角色，实现同步的唇部动作和相同的身体运动。非常适合需要真实替换和自然动画的视频设计师。您可以轻松定制语音同步和视觉精度。这个过程是完全自动化的，但提供了细致性能调整的控制。几分钟内即可从单一参考片段中实现工作室级别的动画质量。

工作流程教程

Wan 2.2 Animate: 角色替换与唇同步

在保留动作、表情和口型与原始音频对齐的同时，将任意摄像头前的发言者替换为您自己的角色。此ComfyUI工作流程围绕Wan 2.2 Animate: 角色替换与唇同步构建，能够从输入视频中检测身体姿势和面部帧，并将它们重新定位到单一参考图像，呈现一致的、语音同步的结果。

此工作流程适合想要可靠角色替换的编辑、创作者和研究人员，可用于采访、剪辑、VTubing、幻灯片或配音短片。提供一个源片段和一张干净的参考图像；管道在新角色上重建姿势和唇部动作，并将原始音轨混合到最终导出中。

Comfyui Wan 2.2 Animate: 角色替换与唇同步工作流程中的关键模型

Wan 2.2 Animate 14B (FP8 scaled)：核心视频生成器，通过姿态、面部和上下文信号在帧之间合成重新定位的角色。模型中心
Wan 2.1 VAE (bf16)：在采样和输出时由Wan使用的视频潜在编码/解码器。权重
UMT5‑XXL 文本编码器 (bf16)：为轻量提示或镜头描述构建文本嵌入。权重
CLIP Vision H：从参考肖像中提取强大的图像特征以保留身份。权重
Lightx2v I2V 14B LoRA：在使用参考帧时提高图像到视频的稳定性和保真度。LoRA
Wan22 Relight LoRA：帮助保持镜头中的一致阴影和重光。LoRA
YOLOv10m (ONNX)：在姿态估计之前使用的快速人脸检测。模型
ViTPose WholeBody Large (ONNX)：用于全身运动转移的高质量骨骼关键点。模型
Segment Anything 2.1：为指导替换的干净前景遮罩分割。仓库

如何使用Comfyui Wan 2.2 Animate: 角色替换与唇同步工作流程

图形通过七个组移动：加载输入，建立参考，预处理姿态/面部和遮罩，加载生成模型，运行角色替换，预览诊断，然后导出带音频。

加载视频

使用VHS_LoadVideo (#63)导入您的源片段。节点提供可选宽度/高度用于调整大小，并输出视频帧、音频和帧数以供下游使用。如果您希望更快的处理速度，请将剪辑修剪到接近说话部分。音频会传递给导出器，以便最终视频与原始音轨保持一致。

参考图像

提供目标角色的单个干净肖像。图像通过ImageResizeKJv2 (#64)调整大小以匹配您的工作分辨率，并存储为CLIP Vision和生成器使用的规范参考。优选在与源镜头光照相似的条件下拍摄的清晰、正面图像，以减少颜色和阴影漂移。

预处理

OnnxDetectionModelLoader (#178)加载YOLO和ViTPose，然后PoseAndFaceDetection (#172)分析每个帧以生成全身关键点和每帧面部裁剪。Sam2Segmentation (#104)使用检测到的边界框或关键帧点创建前景遮罩；如果一个提示失败，请切换到另一个以获得更好的分离。遮罩通过GrowMaskWithBlur (#182)进行优化，并通过BlockifyMask (#108)进行块化，以为生成器提供稳定、明确的主体区域。可选的叠加层（DrawViTPose (#173)和DrawMaskOnImage (#99)）帮助您在生成前目视验证姿态覆盖和遮罩质量。

模型

WanVideoModelLoader (#22)加载Wan 2.2 Animate 14B，WanVideoVAELoader (#38)提供VAE。参考肖像的身份特征由CLIPVisionLoader (#71)和WanVideoClipVisionEncode (#70)编码。样式与稳定性通过WanVideoLoraSelectMulti (#171)进行调整，而WanVideoSetLoRAs (#48)和WanVideoSetBlockSwap (#50)将LoRAs和块交换设置应用于模型；这些工具来自Wan包装库。详情请参见ComfyUI‑WanVideoWrapper。

角色替换

WanVideoTextEncodeCached (#65)接受简短的描述性提示，如果您希望微调外观或镜头氛围。WanVideoAnimateEmbeds (#62)将参考图像、每帧姿态、面部裁剪、背景和遮罩融合成图像嵌入，以在保持身份的同时匹配动作和口型。随后由WanVideoSampler (#27)渲染帧；其调度器和步骤控制清晰度与动作的权衡。WanVideoDecode (#28)解码后的帧交给尺寸/计数检查器，以便在导出前确认尺寸。

结果拼贴

为了快速质量检查，工作流程使用ImageConcatMulti (#77, #66)将关键输入连接成一个简单的比较条，包括参考、面部裁剪、姿态可视化和原始帧。用于在测试通过后进行身份线索和口型的合理性检查。

输出

VHS_VideoCombine (#30)生成最终视频并混合原始音频以确保完美的时间同步。如有需要，附加的导出器可用于保存中间诊断或备用剪辑。对于较长的剪辑，先导出一个简短的测试，然后在提交完整渲染之前迭代LoRA混合和遮罩以获得最佳效果。

Comfyui Wan 2.2 Animate: 角色替换与唇同步工作流程中的关键节点

VHS_LoadVideo (#63)
一步加载帧和原始音频。使用它来设置符合您的GPU预算的工作分辨率，并确认下游节点将消耗的帧数。来自ComfyUI‑VideoHelperSuite。

PoseAndFaceDetection (#172)
运行YOLO和ViTPose以提取人物框、全身关键点和每帧面部裁剪。良好的关键点是可信运动转移的骨干，并直接用于唇部动作。从ComfyUI‑WanAnimatePreprocess。

Sam2Segmentation (#104)
使用边界框或关键帧点提示在主体周围构建前景遮罩。如果头发或手部被遗漏，请切换提示类型或在块化前扩展模糊/增长设置。从ComfyUI‑segment‑anything‑2。

WanVideoLoraSelectMulti (#171)
允许您混合LoRAs，如Lightx2v和Wan22 Relight，以平衡运动稳定性、光线一致性和身份强度。增加LoRA的权重以获得更多影响，但注意面部过度风格化。从ComfyUI‑WanVideoWrapper。

WanVideoAnimateEmbeds (#62)
将参考肖像、姿态图像、面部裁剪、背景帧和遮罩组合成一个紧凑的表示，条件Wan 2.2 Animate。确保width、height和num_frames与您计划的导出匹配，以避免重采样伪影。从ComfyUI‑WanVideoWrapper。

WanVideoSampler (#27)
生成最终帧。当您需要更清晰的细节时使用更高的步骤和更稳定的调度器，或使用较轻的调度进行快速预览。对于非常长的剪辑，您可以通过接入WanVideoContextOptions (#110)可选引入上下文窗口控件，以在窗口之间保持时间一致性。

VHS_VideoCombine (#30)
导出完成的视频并混合原始音频以保持唇部动作同步。修剪到音频选项使持续时间与音轨保持一致。从ComfyUI‑VideoHelperSuite。

可选附加项

使用清晰、正面、嘴唇自然的参考以实现最干净的身份传递；避免过浓的化妆或遮挡。
如果分割遗漏了头发或配饰，请尝试在边界框和关键帧点之间切换Sam2Segmentation提示，然后在块化前稍微增长遮罩。
Lightx2v LoRA提高I2V稳定性；Wan22 Relight LoRA帮助匹配不一致的光照。小的权重变化可以解决闪烁而不需过度烘焙外观。
块交换可以减少长镜头中的身份漂移；如果面部随时间变软，请在WanVideoSetBlockSwap (#50)中启用并重新测试。
保持工作分辨率与源成比例以防止纵横比失真；仅当参考图像足够详细时才放大。
对于有能力的运行时，启用torch编译和包装节点中的高效注意力可以加快采样速度；见ComfyUI‑WanVideoWrapper了解指导。

此Wan 2.2 Animate: 角色替换与唇同步工作流程提供一致的运动转移和语音同步的口型，设置简单，使高质量角色替换在ComfyUI中快速而可重复。

致谢

此工作流程实施并建立在以下作品和资源之上。我们感谢@MDMZ为整个工作流程的构建，Kijai为WAN 2.2 Animate和相关ComfyUI节点，Wan-AI为Wan2.2-Animate资产包括YOLOv10m检测，和Comfy-Org为Wan 2.1 Clip Vision模型的贡献和维护。有关权威细节，请参阅下文链接的原始文档和仓库。