MiniMax H3 Video to Video with SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video to Video with SolarRenderer#

MiniMax H3 Video to Video with SolarRenderer 是一种 ComfyUI 工作流程，用于通过外观参考和从视频中提取的法线贴图重新渲染源片段。它在更改材料、光照和整体外观的同时保留场景结构和相机运动。这使其成为建筑预览、野生动物影片精细化和电影场景重塑的强大选择，特别是在几何和运动一致性很重要的情况下。

该工作流程结合了 FastH3-Omni 进行参考到视频生成，并使用 SolarRenderer 控制 LoRAs 和 SelfLift 采样。法线贴图引导几何和运动，而 SolarRenderer LoRAs 引导物理上合理的阴影和材料。结果是一个连贯的、重新设计的序列，遵循原始镜头的时间和轨迹。

ComfyUI MiniMax H3 Video to Video with SolarRenderer 工作流程中的关键模型#

• FastH3-Omni for ComfyUI。核心 MiniMax H3 扩散模型执行参考到视频生成，允许外观转移，同时尊重运动和布局。有关参考条件和时间行为的详细信息，请参阅模型卡。FastH3-Omni-Comfy on Hugging Face
• SolarRenderer LoRAs。一对 LoRAs 注入渲染器风格控制，以实现跨帧的稳定光照、材料和阴影，适用于建筑或产品般的现实主义。在此处探索项目和权重：SolarRenderer on GitHub 和 SolarRenderer on Hugging Face
• MiniMax H3 VAEs。独立的视频和音频 VAEs 处理潜在编码和解码，在生成期间保持视觉帧和声音同步。在集合中找到官方 MiniMax H3 资产：Comfy-Org/MiniMax-H3
• ControlNet Auxiliary Normal Map Estimator。基于 Metric3D 的法线预处理器从源片段中提取每帧表面法线，提供可靠的结构和运动指导。ComfyUI 中的实现由辅助处理器提供：comfyui_controlnet_aux

如何使用 ComfyUI MiniMax H3 Video to Video with SolarRenderer 工作流程#

此工作流程组织为多个组。您提供参考图像和源视频，从视频中提取法线，构建条件，SelfLift 采样渲染新序列，然后解码为带有可选音频的 MP4。

• 参考输入
  • 使用 LoadImage (#278) 提供定义材料、调色板和表面质量的外观参考。使用 VHS_LoadVideo (#273) 加载您的源片段。
  • 源片段通过 AIO_Preprocessor (#274) 传递，设置为 Metric3D 法线提取器以生成法线贴图序列。VHS_VideoCombine (#276) 可以预览这些法线，以便您确认几何捕获是否干净。
  • ImageScaleToTotalPixels (#226) 将参考图像缩放到目标像素预算，同时保持宽高比，确保细节和速度之间的良好平衡。
  • 如果您更改输入，重新预览法线以捕捉运动或光照伪影，然后再渲染。
• 模型
  • 工作流程加载 MiniMax H3 组件：UNet、文本编码器以及视频和音频 VAEs。然后应用 SolarRenderer 控制 LoRA 和 SolarRenderer 4-step LoRA 来引导渲染风格。
  • 这些模型选择优先考虑稳定运动和渲染器般的一致性。除了选择或更换 LoRAs 以符合口味外，通常不需要触摸它们。
• 条件
  • MiniMaxH3ReferenceToVideo (#11) 是外观、结构和时间相遇的地方。它消耗参考图像、法线贴图视频、您的提示以及选择的宽度、高度和帧长度，以生成正面条件和初始潜在序列。
  • 负面条件通过零流处理，以便模型专注于您的正面信号，包括参考、法线和提示。
  • 如果您需要特定的主题或环境约束，请在提示中表达，同时在镜头之间保持一致。
• 注意补丁
  • 工作流程包括内存高效的注意补丁和稀疏注意后端，用于更长的片段或受限的 VRAM。一次仅使用一条路径以避免冲突；保持另一条禁用。
  • 这一部分纯粹是关于吞吐量和稳定性，而不是图像风格。如果遇到 VRAM 错误或减速，请切换方法。
• 采样
  • BasicScheduler 和 KSamplerSelect 提供步进策略。主要渲染发生在 SelfLiftH3Sampler (#233) 中，它在尊重法线贴图结构和参考外观的同时，将低分辨率潜在传递提升到更高的保真度。
  • 采样器可以平铺高分辨率内容，使用专用的 3D 潜在上采样器，并混合控制强度以平衡几何保真度与材料重塑。
  • 最后，VAEDecode 重建帧，可选的 VAEDecodeAudio 恢复音频，VHS_VideoCombine (#243) 使用您选择的文件名和帧率写入 MP4。
• 配置
  • ResolutionSelector (#20) 通过宽高比和百万像素定义输出大小，然后将宽度和高度存储到图表中。选择一个与您的交付和计算预算匹配的大小。
  • 持续时间以秒为单位表示；工作流程将其转换为帧，并调整为 17 的倍数以实现采样器稳定性和时间平滑性。
  • 保持与源片段的宽高比一致，以获得最忠实的相机运动和构图。

ComfyUI MiniMax H3 Video to Video with SolarRenderer 工作流程中的关键节点#

• MiniMaxH3ReferenceToVideo (#11)
  • 从您的提示、参考图像和源片段的法线贴图构建正面条件和初始潜在序列。使用它来设置宽度、高度和帧长度。选择一个与您的分辨率一致的 ref_image_size 策略，以便外观特征一致地转移。有关上下文，请参阅基础模型系列：FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • 执行时间感知采样并集成高分辨率提升。关键调整包括 cfg 以遵循提示，transition_step 用于采样器从粗到细的切换，w_min 和 w_max 以平衡结构指导，lowres_scale 用于初始传递，以及 highres_tiling 如果 VRAM 受限。该节点还支持 3D 潜在上采样器，以获得更清晰、更稳定的细节。方法背景：comfyui-SelfLift 和 arXiv 上的论文摘要：SelfLift
• AIO_Preprocessor (#274)
  • 在源帧上运行 Metric3D 法线贴图提取器，以提供可靠的几何提示。如果预览中的边缘或表面看起来柔和，请增加预处理器分辨率或提高输入视频质量。实现参考：comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281) 和 4-step (#121)
  • 这两个 LoRAs 引导一致的光照、阴影和材料响应。首先从 Control 开始，再添加 4-step，以获得额外的渲染器风格稳定性。如果纹理看起来过度烘焙，请轻轻降低 strength_model。项目和权重：SolarRenderer on GitHub 和 SolarRenderer on Hugging Face
• ResolutionSelector (#20)
  • 通过宽高比和百万像素设置输出大小，然后将宽度和高度路由到图表中。使用它来匹配您的目标镜头框架和计算预算。保持倍数一致可以提高 MiniMax H3 的时间稳定性。
• VHS_VideoCombine (#243)
  • 将帧和可选音频合并为最终的 MP4。设置 filename_prefix、frame_rate 并选择是否保存输出。该节点属于 Video Helper Suite，简化了预览和导出。参考：ComfyUI-VideoHelperSuite

可选额外功能#

• 为了最忠实的运动，保持输出宽高比接近源，并使用法线贴图预览在渲染前验证几何。
• 如果遇到 VRAM 压力，请在 SelfLiftH3Sampler 中启用平铺，或在内存高效注意和稀疏注意之间切换。请勿同时启用两条路径。
• 当结果看起来过于光亮或人工时，降低 SolarRenderer LoRA 强度或在提示中添加纹理提示，同时保持场景约束稳定。
• 固定随机种子以在比较 LoRA 强度或提示变体时实现可重复性。

鸣谢#

此工作流程实现并建立在以下作品和资源之上。我们对 Innovate Futures 提供的工作流程源、Enderfga 的 SolarRenderer 项目和模型、FastVideo 的 FastH3-Omni ComfyUI 模型以及 facok 的 SelfLift 采样节点的贡献和维护表示感谢。有关权威详细信息，请参阅下方链接的原始文档和存储库。

资源#

• Innovate Futures 提供的工作流程源
  • 文档 / 发布说明：Patreon post
• SolarRenderer 项目
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• SolarRenderer 模型
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• FastH3-Omni ComfyUI 模型
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• SelfLift 采样节点
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

注意：使用所引用的模型、数据集和代码需遵循其作者和维护者提供的相应许可证和条款。