此工作流将一个参考图像转化为短视频,其中相同的面孔和风格在各帧中持续。由Wan 2.1系列和专门构建的Stand In LoRA驱动,专为需要稳定身份且设置最小化的故事讲述者、动画师和头像创作者设计。Wan2.1 Stand In流水线处理背景清理、裁剪、遮罩和嵌入,因此您可以专注于您的提示和动作。
当您需要从单张照片中获得可靠的身份连续性、快速迭代和出口准备的MP4时,请使用Wan2.1 Stand In工作流,还可选择附带并排比较输出。
概览:加载干净的正面参考图像,工作流准备一个面向面部的遮罩和合成,编码为潜变量,将该身份合并到Wan 2.1图像嵌入中,然后采样视频帧并导出MP4。保存两个输出:主要渲染和并排比较。
从一个光线良好、正面朝向的图像开始,背景简单。流水线在LoadImage
(#58)中加载您的图像,使用ImageResizeKJv2
(#142)标准化大小,并使用MediaPipe-FaceMeshPreprocessor
(#144)和BinaryPreprocessor
(#151)创建面部中心遮罩。在TransparentBGSession+
(#127)和ImageRemoveBackground+
(#128)中去除背景,然后使用ImageCompositeMasked
(#108)将主体合成到干净的画布上以最小化颜色渗透。最后,ImagePadKJ
(#129)和ImageResizeKJv2
(#68)对齐生成的长宽比;准备好的帧通过WanVideoEncode
(#104)编码为潜变量。
如果您希望从现有剪辑中获得运动控制,请使用VHS_LoadVideo
(#161)加载它,并可选地使用VHS_LoadVideo
(#168)加载第二个指南或alpha视频。帧通过DWPreprocessor
(#163)获取姿势线索,通过ImageResizeKJv2
(#169)进行形状匹配;ImageToMask
(#171)和ImageCompositeMasked
(#174)让您精确混合控制图像。WanVideoVACEEncode
(#160)将这些转化为VACE嵌入。此路径是可选的;当您仅希望从Wan 2.1获得文本驱动的运动时,请保持不变。
WanVideoModelLoader
(#22)加载Wan 2.1 14B基础加上Stand In LoRA,因此身份从一开始就被锁定。通过WanVideoBlockSwap
(#39)和WanVideoSetBlockSwap
(#70)提供VRAM友好的速度功能。您可以通过WanVideoSetLoRAs
(#79)附加额外的适配器,例如LightX2V。使用UMT5‑XXL在后台进行多语言控制,提示使用WanVideoTextEncodeCached
(#159)进行编码。保持提示简洁且描述性;强调主体的服装、角度和照明以补充Stand In身份。
WanVideoEmptyEmbeds
(#177)建立图像嵌入的目标形状,WanVideoAddStandInLatent
(#102)注入您编码的参考潜变量以在时间上携带身份。结合的图像和文本嵌入输入WanVideoSampler
(#27),使用配置的调度器和步骤生成潜变量视频序列。采样后,帧由WanVideoDecode
(#28)解码并在VHS_VideoCombine
(#180)中写入MP4。
为了即时质量保证,ImageConcatMulti
(#122)将生成的帧与调整大小的参考并排堆叠,以便逐帧判断相似度。VHS_VideoCombine
(#74)将其保存为单独的“比较”MP4。因此,Wan2.1 Stand In工作流在不额外努力的情况下生成干净的最终视频和并排检查。
WanVideoModelLoader
(#22)。加载Wan 2.1 14B并在模型初始化时应用Stand In LoRA。保持Stand In适配器在此连接而不是稍后在图中,以便身份在去噪路径中始终得到强化。与WanVideoVAELoader
(#38)配对以匹配Wan‑VAE。WanVideoAddStandInLatent
(#102)。将您编码的参考图像潜变量融合到图像嵌入中。如果身份漂移,增加其影响;如果运动似乎过于受限,稍微减少它。WanVideoSampler
(#27)。主要生成器。调整步骤、调度器选择和指导策略在细节、运动丰富度和时间稳定性上有最大影响。推高分辨率或长度时,考虑调整采样器设置而不是更改上游的任何内容。WanVideoSetBlockSwap
(#70)与WanVideoBlockSwap
(#39)。通过在设备之间交换注意力块来交换GPU内存以提高速度。如果看到内存不足错误,增加卸载;如果有余量,减少卸载以更快迭代。ImageRemoveBackground+
(#128)和ImageCompositeMasked
(#108)。这些确保主体被干净地隔离并放置在中性画布上,从而减少颜色污染并改善Stand In身份在各帧中的锁定。VHS_VideoCombine
(#180)。控制主MP4输出的编码、帧率和文件命名。用它设置您偏好的FPS和交付的质量目标。资源
此工作流实现并构建在ArtOfficial Labs的作品和资源之上。我们感谢ArtOfficial Labs和Wan 2.1作者为Wan2.1 Demo的贡献和维护。有关权威详细信息,请参阅以下链接的原始文档和存储库。
注意:所引用的模型、数据集和代码的使用受其作者和维护者提供的各自许可和条款的约束。
RunComfy 是首选的 ComfyUI 平台,提供 ComfyUI 在线 环境和服务,以及 ComfyUI 工作流 具有惊艳的视觉效果。 RunComfy还提供 AI Playground, 帮助艺术家利用最新的AI工具创作出令人惊叹的艺术作品。