MiniMax H3 角色交换 V1.5 带有原始音频#
MiniMax H3 角色交换 V1.5 带有原始音频,在保持原始音轨完整的情况下,用参考角色替换源视频中的屏幕人物。画布结合了 Akatz Labs 的 Character Swap V1.5 LoRA、SAM3 人物掩码和 H3 Relay 历史,以支持身份和时间的连续性,跨多个生成窗口传递源表演。
此 ComfyUI 工作流专为编辑人员、预视团队和创作者设计,他们希望快速、与源对齐的角色交换而不失去音频中的表现。测试示例包括真实人物、动漫角色和机器人。嘴型、手部和窗口连接仍需审核,因此请计划在最终渲染中检查接缝和关节。MiniMax H3 角色交换 V1.5 带有原始音频完全运行在 H3 视频模型家族上,具有轻量级控制,您可以根据每个镜头进行调整。
Comfyui MiniMax H3 角色交换 V1.5 带有原始音频工作流中的关键模型#
- Comfy‑Org MiniMax H3 Ref2VA U‑Net。H3 中音频条件生成的核心视频扩散骨干。它在尊重参考指导和编辑掩码的同时,将噪声转换为连贯的视频。Model files
- MiniMax H3 视频 VAE。为 H3 编码和解码视频潜在变量,以便窗口在所选分辨率下干净地渲染。Model card
- MiniMax H3 音频 VAE。打包和解包 H3 使用的音频潜在变量以对齐语音节奏和嘴唇与源轨。Model card
- Qwen3‑VL 32B 文本编码器用于 H3。解释您的提示和参考条件,以便替换角色和表现说明一致应用。包含在 H3 模型包中。Files
- Akatz Labs Character Swap V1.5 LoRA (
h3_character_swap_v1.5.safetensors)。教 H3 如何将输入主体映射到目标角色身份,同时保留姿势和表现。Repository - MiniMax H3 FL2V Turbo 8‑step LoRA。一个快速调度适配器,加速 H3 采样,使用 8 步进行快速、基于窗口的视频生成。Repository
- SAM 3.1 多路复用检查点。检测和跟踪要替换的人物,为移动主体生成强大的掩码。Repository
- H3 Relay 工具包。提供基于历史的窗口规划、掩码恢复/扩展、循环和窗口组装,以实现全片的连续性。GitHub
- 参考工作流源。角色交换方法和 LoRA 来自 Akatz Labs,并在此为 H3 Relay 进行适配。GitHub
如何使用 Comfyui MiniMax H3 角色交换 V1.5 带有原始音频工作流#
画布遵循从输入到缝合视频的简单路径:您提供一个源剪辑和一个角色参考,SAM 找到并跟踪要替换的人物,H3 Relay 计划具有历史传递的窗口,H3 在掩码内生成编辑后的帧,然后工作流将一切与原始音频重新组装。画布中的组被组织为您可以从上到下工作,并在自然检查点进行审核。
01 · 用户输入#
在 Source video 中上传您的剪辑,然后在 Character reference · Picture 1 中添加单个角色图像或图纸。H3RelayPrepareSource 将帧对齐到模型的网格,并曝光实际宽度、高度、帧数和音频。该节点发出一批干净的帧和原始音轨,后者成为指导。通过从单个、连续的镜头开始,保持第一次通过简单。
02 · H3 模型和 LoRA#
H3 Ref2VA · INT8 加载 MiniMax H3 扩散骨干。文本编码器、视频 VAE 和音频 VAE 自动接线。两个 LoRA 位于 H3 之上:用于快速采样的 FL2V Turbo · 8-step 和用于身份转移的 Character Swap V1.5 · strength。这种配对使 MiniMax H3 角色交换 V1.5 带有原始音频能够快速运行,同时保留角色风格。
03 · SAM 人物选择和掩码#
SAM3_Detect 根据 SAM person description 在第一帧中找到人物。H3RelaySelectMask 选择主体,然后 SAM3_VideoTrack 在整个帧批次中跟踪该掩码。H3RelayRecoverMasks 修复间隙,H3RelayExpandMask 扩展区域以覆盖头发和手,以免身份编辑留下光环。预览帮助您确认扩展的人物掩码与预期主体匹配。
04 · H3 Relay 窗口规划#
H3RelayWindowPlan 创建重叠感知窗口,大小适合 H3,并将较小的历史片段带入以保持连续性。StartLoop 和 H3RelayWindowInputs 将帧、掩码和每窗口音频输入生成。这是源被分割为可管理的块,以在连续镜头的连续窗口之间传递上下文的地方。场景切割需要单独审核。MiniMax H3 角色交换 V1.5 带有原始音频使用此计划来保持种子和范围的确定性,以实现可重复的通过。
05 · 参考条件和指南#
MiniMaxH3ReferenceToVideo 将您的角色图像和表现提示转化为 H3 的条件。H3RelayApplyHistory 将前一个窗口的帧和音频注入下一个窗口作为软指导。H3RelayApplyEditMask 将跟踪的编辑区域与当前潜在变量混合以限制编辑;它不保证像素完全相同的背景保留。MiniMaxH3AddGuide 允许您从窗口的音频中添加本机目标指导,以便嘴唇和表情遵循原始音轨。
06 · 采样和解码#
H3RelaySamplingMemory、CFGGuider、KSamplerSelect 和 SamplerCustomAdvanced 使用 LoRA 适配的 H3 模型逐窗口运行生成循环。LTXVSeparateAVLatent 和 VAEDecode 将视觉解码回准备组装的帧。这些组件处理繁重的工作并保持内存可预测。大多数用户可以在第一次通过时保持原样。
07 · H3 Relay 组装和输出#
H3RelayAppendWindow 按顺序累积窗口,必要时修剪重叠。H3RelayFinishWindows 输出帧并重新附加原始音频,以便时间和语音保持与源一致。CreateVideo 和 Save final video 将结果写入磁盘。检查窗口连接、嘴型、手部和遮挡,然后在需要时迭代。MiniMax H3 角色交换 V1.5 带有原始音频经过优化,可在短镜头上快速审核循环。
Comfyui MiniMax H3 角色交换 V1.5 带有原始音频工作流中的关键节点#
H3RelayWindowPlan创建生成计划和重叠历史。测试示例使用 124 帧窗口和 18 帧历史,每秒 24 帧。每个 12.25 秒的剪辑跨越三个窗口。检查连接处的局部外观或运动变化;这并不保证无缝延续。MiniMaxH3ReferenceToVideo从您的角色图像和提示在实际宽度、高度和每窗口长度构建主要条件。使用一个身份真实的图像或图纸,并清楚地说明多个视图描绘相同的角色。保持表现说明简洁并与源音频和手势相关。如果身份漂移,加强身份描述并简化风格修饰符。H3RelayApplyEditMask使用跟踪的掩码和编码的源帧约束生成。检查头发和移动肢体周围的掩码覆盖范围。测试图不将生成的身体复合回未触及的源像素,因此周围细节仍可能发生变化。MiniMaxH3AddGuide使用当前窗口的源音频作为本机指导。这支持与语音相关的运动,但保留音轨并不保证精确的嘴唇同步。此图中的暴露节点没有可调节的指导强度控制。LoraLoaderModelOnly · Character Swap V1.5以测试强度 1.0 加载官方h3_character_swap_v1.5.safetensors适配器。强度的变化可以改变结果,但没有经过验证的规则表明减少它会改善嘴部运动或增加它会锁定服装细节。SamplerCustomAdvanced加上CFGGuider运行测试的 Turbo 配方:8 步,CFG 1,er_sde和normal调度。从这些默认值开始;步骤或指导的更改需要新的比较,并且不保证质量改进。SAM3_Detect和SAM3_VideoTrack驱动编辑区域的人物检测和跟踪。使用清晰的SAM person description偏向于您的主体,当有多人出现时。如果跟踪在遮挡处滑动,微调检测敏感性或在再次跟踪之前重新选择主体。目标是一个单一稳定的掩码,跟随预期的表演者。H3RelayFinishWindows组装最终帧并保持音频模式为source以便原始音轨通过。需要保留原始音频时,保持选择source。此节点是编码前的最后质量门。
可选额外功能#
- 在第一次通过中选择光线稳定且快速摇摄最小的镜头。
- 使用单个、身份真实的参考图像,表情中性,发际线可见。
- 保持宽度和高度可被 32 整除,并匹配源纵横比,以实现高效的内存使用。
- 对于跳跃的接缝,测试另一个有效的窗口计划,并重新运行相关窗口序列,因为后面的窗口使用较早的历史。
- 始终在交付前以 100% 的比例检查嘴唇、手部、发边和窗口连接。
MiniMax H3 角色交换 V1.5 带有原始音频结合了与源对齐的时间、参考引导的角色生成和窗口历史控制,使您可以快速从测试迭代到最终。有关该方法和资产的更深层次背景,请参阅上面的 Akatz Labs 参考。
致谢#
此工作流实现并建立在以下工作和资源之上。我们对 Akatz Labs 的 H3 Character Swap Tool 工作流、Akatz AI 的 MiniMax H3 Character Swap LoRA (v1.5) 和 H3 Relay 以及 Comfy-Org 的 MiniMax H3 基础模型的贡献和维护表示由衷的感谢。有关权威详细信息,请参阅下文链接的原始文档和存储库。
资源#
- Akatz Labs 工作流来源
- Character Swap V1.5 LoRA
- Hugging Face: akatz-ai/MiniMax-H3-Character-Swap-LoRA
- H3 Relay
- GitHub: akatz-ai/h3-relay
- MiniMax H3 基础模型
- Hugging Face: Comfy-Org/MiniMax-H3
注意:使用参考的模型、数据集和代码须遵循其作者和维护者提供的各自许可证和条款。

