SCAIL 2 多角色参考动作转移：适用于 ComfyUI 的多角色、身份保留动作转移#
此工作流程提供 SCAIL 2 多角色参考动作转移：它采用一个驱动视频并将动作转移到一个或多个参考角色，同时保留每个主体的视觉身份。它支持动作转移和完整角色替换，处理多图像身份参考，并生成适合讲故事、对话和群体表演的连贯多角色场景。
基于 Wan 2.1 视频生成与 SCAIL_2 嵌入、CLIP Vision 指导和分割驱动的角色掩码，管道专注于一致的身份、自然动作和可控的互动，贯穿整个剪辑。
Comfyui SCAIL 2 多角色参考动作转移工作流程中的关键模型#
- 通过 ComfyUI-WanVideoWrapper 的 Wan 2.1 视频主干。生成器通过 SCAIL_2 图像嵌入、视觉条件和提示文本合成视频帧，同时处理长上下文和高效内存使用。 GitHub
- CLIP Vision 编码器。从主要参考图像或拼贴提供强大的视觉嵌入，以在生成期间引导身份和外观。有关图像-文本表示学习的背景，请参阅 CLIP 论文。 arXiv
- mT5 系列文本编码器。编码用于在帧之间偏向所需主体和动作的正负提示。 arXiv
- 用于视频对象跟踪的 Segment Anything 风格分割。工作流程使用 SAM 系列检查点检测和跟踪主体，并生成驱动多角色动作转移的每角色掩码。有关 SAM 分割的背景：GitHub
- LoRA 适配器。可选适配器专门用于身份保留和动作保真度，而无需重新训练整个模型。有关 LoRA 调整的背景：arXiv
- FeiHou Toolbox 实用工具。拼贴和掩码实用工具促进多图像身份参考和 SCAIL 2 的彩色、角色感知掩码。 GitHub
- KJNodes 图像实用工具。高质量调整大小使输入和掩码与视频尺寸对齐，以实现稳定采样。 GitHub
如何使用 Comfyui SCAIL 2 多角色参考动作转移工作流程#
工作流程有四个主要阶段：加载资产和生成器，构建多角色参考和掩码，编译 SCAIL_2 嵌入，然后采样并导出最终视频。组从上到下运行，每个步骤都有有用的预览。
模型加载区#
此区域准备 Wan 2.1 主干及其 VAE。使用 WanAnimatePlus ModelLoader (#37) 选择基础模型和精度，用 WanAnimatePlus VAELoader (#71) 选择匹配的 VAE。如果您计划进一步偏向身份或动作，请使用 WanAnimatePlus LoraSelectMulti (#66) 添加适配器，然后通过 WanAnimatePlus SetLoRAs (#69) 将它们应用于模型。可选的 WanVideoTorchCompileSettings (#72) 可以通过编译注意力块来降低延迟。
单图像加载#
在单图像加载组中使用 LoadImage 提供主要身份图像。此图片锚定您的主要主体的外观。如果您希望构建多个身份或角色的拼贴，请在快速切换组中切换到拼贴输入，而不是单个图像。
拼贴输入#
使用 AutoRefCollage (#370) 将多达几个参考图像组装到一个布局中，自动检测人物并将裁剪放置到干净的画布中。拼贴充当多角色身份板：每个主体为 SCAIL 2 多角色参考动作转移阶段提供外观提示。预览节点显示组装好的拼贴，以便在继续之前检查框架。
多图像参考#
在这里，您还可以使用 LoadImage 加载三个或更多精心挑选的肖像，并使用 ImageBatchMulti (#331) 打包它们。ImageResizeKJv2 将其大小调整为匹配预期的视频分辨率。当您希望更严格地控制哪些身份和角度影响外观模型时，此路径很有帮助。
视频加载#
VHS_LoadVideo (#297) 引入驱动视频和音频。您可以强制目标帧速率以实现更流畅的动作，限制总帧数以限制时长，跳过介绍片段，或每 N 帧采样以加快迭代速度。一个独立的“参考视频预览”子管道组合并回放加载的帧，以便在跟踪之前确认剪辑是否正确。
掩码区域#
工作流程检测并跟踪主体以创建驱动 SCAIL 2 多角色参考动作转移的角色感知掩码。三个 SAM3_VideoTrack 节点 (#315, #316, #306) 跟踪驱动视频中的对象、参考图像和可选的前缀帧。SCAIL2ColoredMaskV2 (#354) 将这些轨迹融合为三个输出：姿势视频掩码、彩色参考图像掩码和用于热启动的前缀掩码。单角色和多角色掩码的预览帮助您验证每种颜色在采样之前对应于正确的角色。
动作转移 - 嵌入处理#
WanAnimatePlus SCAIL_2 Embeds (#342) 将您的输入转化为生成器使用的 SCAIL_2 图像嵌入。它结合 VAE 特征、CLIP Vision 嵌入、您的参考图像或拼贴、背景替换（可选）、跟踪的姿势帧和彩色掩码。您可以在两种模式下运行：动作转移（使用参考外观与驱动动作）或角色替换（将输入视频中的人替换为您的参考）。还可以选择保留主要参考背景，并在长或高分辨率运行时裁剪或平铺前缀帧。
采样区域#
WanVideoTextEncodeCached 编码提示，WanVideoContextOptions (#290) 控制跨帧的时间窗口。WanAnimatePlus SamplerSettings (#332) 收集模型、SCAIL_2 图像嵌入和文本嵌入以及采样超参数和计划；WanAnimatePlus SamplerFromSettings (#311) 执行生成。WanAnimatePlus Decode (#267) 将潜在变量转化为帧；如果面临内存限制，可以在这里启用 VAE 平铺。视频通过“预览区”的 VHS_VideoCombine 完成，并从中导出；配套组合可以导出仅掩码剪辑以便于快速调试。
快速切换和视频尺寸#
“true = Character Replacement | false = Motion Transfer” 开关 (#341) 可立即更改角色在下游的处理方式。宽度和高度常量馈送所有调整大小和掩码节点以保持形状对齐。FastGroupsBypassSwitch (#351) 允许您在不重新接线的情况下在单个图像和拼贴输入之间切换。
Comfyui SCAIL 2 多角色参考动作转移工作流程中的关键节点#
SCAIL2ColoredMaskV2 (#354)#
通过合并来自驱动视频、参考图像和可选前缀帧的对象轨迹生成角色感知掩码。使用 object_indices 选择哪些跟踪 ID 成为角色，并使用 prefix_mask_mode 指定当一次驱动多个角色时的单图像、多色布局。保持 replacement_mode 与全局切换一致，以便掩码语义与嵌入阶段匹配。
WanAnimatePlus SCAIL_2 Embeds (#342)#
将 VAE、CLIP Vision、多图像参考、姿势帧和掩码融合为生成器的 SCAIL_2 嵌入。当身份漂移时增加 ref_strength；当动作保真度较低时增加 pose_strength。对于应保持参考背景的场景，启用背景保留；从单个前缀帧开始时，启用单帧前缀编码。
SAM3_VideoTrack (#315, #316, #306)#
检测并跟踪跨帧的主体以提供掩码生成器。如果您未检测到角色，请降低 detection_threshold 或允许更多 max_objects；如果跟踪噪声较大，请增加 detect_interval 以减少重新检测抖动。始终查看彩色掩码预览，以确保每个角色在时间上保持稳定。
VHS_LoadVideo (#297)#
控制驱动剪辑。force_rate 设置工作 FPS，frame_load_cap 限制时长，skip_first_frames 修剪介绍，select_every_nth 允许您子采样帧以进行更快的测试。这些控制直接影响上下文窗口和内存，因此在采样之前调整它们。
WanAnimatePlus SamplerSettings (#332)#
持有核心生成旋钮。steps、scheduler 和 cfg 引导细节、平滑度和对提示的遵循；denoise_strength 决定 SCAIL_2 指导如何重塑帧。使用 seed 输入在改进多角色场景时确保可重复性。
WanAnimatePlus BlockSwap (#67)#
可选的内存节省器，在采样期间交换计算块。在紧张的 VRAM 预算或长帧范围上，增加交换以防止内存不足错误；在高 VRAM GPU 上，减少或禁用它以提高速度。
WanAnimatePlus Decode (#267)#
将潜在变量解码为 RGB 帧。如果您的分辨率或剪辑长度较高且解码时内存不足，请启用平铺 VAE 解码并设置适当的平铺大小和步幅，以便平铺干净重叠。
可选附加功能#
- 对于多角色剪辑，为每个角色至少提供一个干净的、正面的肖像，并在拼贴中保持一致的照明。
- 从动作转移模式开始验证掩码和动作质量，然后如果需要完全替换表演者，再切换到角色替换。
- 使用仅掩码视频预览确认角色分配和颜色稳定性，然后进行长时间渲染。
- 保持所有输入对齐到相同的宽度和高度；使用提供的调整大小节点而不是外部工具，以避免微妙的形状不匹配。
- 如果结果看起来过于风格化或偏离身份，请在嵌入阶段降低提示强度并提高参考强调；如果启用了适配器，请调整 LoRA 混合。
- 长剪辑从
WanVideoContextOptions中更大的上下文窗口中受益；通过启用 VAE 平铺来平衡内存，如果需要，进行适度的块交换。
此 SCAIL 2 多角色参考动作转移工作流程旨在使多角色动作转移可重复且可预测：准备清晰的参考，验证掩码，然后以稳定的设置进行采样，以实现身份真实、自然的跨角色动作。
致谢#
此工作流程实现并建立在以下作品和资源之上。我们对 SCAIL 2 的 SCAIL 2 多角色参考动作转移工作流程源的贡献和维护表示感谢。有关权威细节，请参阅下方链接的原始文档和存储库。
资源#
- SCAIL 2/SCAIL 2 多角色参考动作转移工作流程源
- 文档/发布说明：SCAIL 2 多角色参考动作转移工作流程源
注意：所引用的模型、数据集和代码的使用受其作者和维护者提供的各自许可证和条款的约束。