MiniMax H3 Video to Video with SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video to Video with SolarRenderer#

MiniMax H3 Video to Video with SolarRenderer 是一個使用 ComfyUI 的工作流程，用於通過外觀參考和從視頻中提取的法線圖重新渲染源剪輯。它在更改材料、光照和整體外觀的同時保留場景結構和相機運動。這使其成為建築預覽、野生動物影片精細化和電影場景再設計的強力選擇，其中一致的幾何形狀和運動至關重要。

該工作流程將 FastH3-Omni 用於參考到視頻生成，結合 SolarRenderer 控制 LoRAs 和 SelfLift 取樣。法線圖引導幾何和運動，而 SolarRenderer LoRAs 則引導物理上合理的陰影和材料。結果是一個連貫的重新設計序列，遵循原始鏡頭的時間和軌跡。

Comfyui MiniMax H3 Video to Video with SolarRenderer 工作流程的關鍵模型#

• FastH3-Omni for ComfyUI。核心 MiniMax H3 擴散模型，執行參考到視頻生成，實現外觀轉移，同時尊重運動和佈局。參見模型卡了解參考調節和時間行為的詳細信息。FastH3-Omni-Comfy on Hugging Face
• SolarRenderer LoRAs。一對 LoRAs，注入渲染器風格控制，以實現跨幀穩定的光照、材料和陰影，對於建築或產品類現實主義非常有用。在這裡探索項目和權重：SolarRenderer on GitHub 和 SolarRenderer on Hugging Face
• MiniMax H3 VAEs。分開的視頻和音頻 VAEs 處理潛在編碼和解碼，保持在生成過程中視覺幀和聲音的同步。在此集合中查找官方 MiniMax H3 資產：Comfy-Org/MiniMax-H3
• ControlNet 輔助法線圖估算器。基於 Metric3D 的法線預處理器從源剪輯中提取每幀表面法線，提供可靠的結構和運動指導。ComfyUI 中的實現由輔助處理器提供：comfyui_controlnet_aux

如何使用 Comfyui MiniMax H3 Video to Video with SolarRenderer 工作流程#

此工作流程組織成多個組。您提供參考圖像和源視頻，從視頻中提取法線，建立調節，SelfLift 取樣渲染新的序列，然後解碼為帶有可選音頻的 MP4。

• 參考輸入
  • 使用 LoadImage (#278) 提供定義材料、調色板和表面質量的外觀參考。使用 VHS_LoadVideo (#273) 加載您的源剪輯。
  • 源剪輯通過設置為 Metric3D 法線提取器的 AIO_Preprocessor (#274) 生成法線圖序列。VHS_VideoCombine (#276) 可以預覽這些法線，以便您確認幾何形狀已被乾淨捕獲。
  • ImageScaleToTotalPixels (#226) 將參考圖像縮放到目標像素預算，同時保持縱橫比，確保細節與速度之間的良好平衡。
  • 如果更改輸入，請重新預覽法線，以在渲染前捕獲運動或光照伪影。
• 模型
  • 工作流程加載 MiniMax H3 組件：UNet、文本編碼器，以及視頻和音頻 VAEs。然後應用 SolarRenderer 控制 LoRA 和 SolarRenderer 4 步驟 LoRA 以引導渲染風格。
  • 這些模型選擇優先考慮穩定運動和渲染器類一致性。您通常不需要觸及它們，除非選擇或更換 LoRAs 以符合您的口味。
• 調節
  • MiniMaxH3ReferenceToVideo (#11) 是外觀、結構和時間的交匯點。它消耗參考圖像、法線圖視頻、您的提示，以及選擇的寬度、高度和幀長度，以產生正面調節和初始潛在序列。
  • 負面調節通過歸零流處理，因此模型專注於來自參考、法線和提示的正面信號。
  • 如果需要特定主題或環境約束，請在提示中表達它們，同時保持在鏡頭之間的一致性。
• 注意力補丁
  • 工作流程包括一個內存高效的注意力補丁和一個稀疏注意力後端，用於較長的剪輯或受限的 VRAM。一次僅使用一條路徑以避免衝突；保持另一條路徑禁用。
  • 這部分純粹關於吞吐量和穩定性，而不是圖像風格。如果遇到 VRAM 錯誤或減速，請切換方法。
• 取樣
  • BasicScheduler 和 KSamplerSelect 提供步進策略。主要渲染發生在 SelfLiftH3Sampler (#233) 中，該取樣器在尊重法線圖結構和參考外觀的同時，將低分辨率潛在通過提升到更高保真度。
  • 取樣器可以平鋪高分辨率內容，使用專門的 3D 潛在放大器，並混合控制強度以平衡幾何保真度與材料重新設計。
  • 最後，VAEDecode 重建幀，選擇性 VAEDecodeAudio 恢復音頻，VHS_VideoCombine (#243) 使用您選擇的文件名和幀速率寫入 MP4。
• 配置
  • ResolutionSelector (#20) 根據縱橫比和百萬像素定義輸出大小，然後將寬度和高度存儲到圖中。選擇匹配您的交付和計算預算的大小。
  • 持續時間以秒表示；工作流程將其轉換為幀，並捕捉到 17 的倍數，以實現取樣器穩定性和時間平滑性。
  • 保持與源剪輯的縱橫比一致，以獲得最忠實的相機運動和構圖。

Comfyui MiniMax H3 Video to Video with SolarRenderer 工作流程的關鍵節點#

• MiniMaxH3ReferenceToVideo (#11)
  • 從您的提示、參考圖像和源剪輯的法線圖構建正面調節和初始潛在序列。使用它來設置寬度、高度和幀長度。選擇與您的分辨率對齊的 ref_image_size 策略，以便外觀特徵一致轉移。參見基本模型系列了解背景：FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • 執行時間感知取樣，並集成高分辨率提升。關鍵調整包括 cfg 用於提示遵循，transition_step 用於取樣器從粗糙到精細細節的切換，w_min 和 w_max 用於平衡結構指導，lowres_scale 用於初始通過，以及 highres_tiling 當 VRAM 受限時。該節點還支持 3D 潛在放大器，以獲得更清晰、更穩定的細節。方法背景：comfyui-SelfLift 和 arXiv 上的論文摘要：SelfLift
• AIO_Preprocessor (#274)
  • 在源幀上運行 Metric3D 法線圖提取器，以提供強健的幾何線索。如果預覽中的邊緣或表面看起來柔和，請增加預處理器分辨率或提高輸入視頻質量。實施參考：comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281) 和 4 步驟 (#121)
  • 這兩個 LoRAs 引導一致的光照、陰影和材料響應。從控制開始，然後添加 4 步驟以獲得額外的渲染器風格穩定性。如果紋理看起來過度烘焙，請輕輕降低 strength_model。項目和權重：SolarRenderer on GitHub 和 SolarRenderer on Hugging Face
• ResolutionSelector (#20)
  • 通過縱橫比和百萬像素設置輸出大小，然後將寬度和高度路由到圖中。用它來匹配您的目標鏡頭框架和計算預算。保持倍數一致性可改善 MiniMax H3 的時間穩定性。
• VHS_VideoCombine (#243)
  • 將幀和可選音頻合併到最終的 MP4 中。設置 filename_prefix、frame_rate，以及是否保存輸出。該節點屬於視頻助手套件，簡化了預覽和導出。參考：ComfyUI-VideoHelperSuite

可選附加#

• 為了獲得最忠實的運動，保持輸出縱橫比接近源，並使用法線圖預覽來驗證幾何形狀在渲染前。
• 如果遇到 VRAM 壓力，請在 SelfLiftH3Sampler 中啟用平鋪，或在內存高效注意力和稀疏注意力之間切換。不要同時啟用兩條路徑。
• 當結果看起來過於光亮或人工時，減少 SolarRenderer LoRA 強度，或在提示中添加紋理提示，同時保持場景約束穩定。
• 固定隨機種子以在比較 LoRA 強度或提示變體時獲得可重複性。

致謝#

該工作流程實施並建立在以下作品和資源之上。我們感謝 Innovate Futures 提供的工作流程源，Enderfga 提供的 SolarRenderer 項目和模型，FastVideo 提供的 FastH3-Omni ComfyUI 模型，以及 facok 提供的 SelfLift 取樣節點的貢獻和維護。欲了解權威細節，請參考以下鏈接的原始文檔和存儲庫。

資源#

• Innovate Futures 的工作流程源
  • 文檔 / 發布說明：Patreon post
• SolarRenderer 項目
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• SolarRenderer 模型
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• FastH3-Omni ComfyUI 模型
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• SelfLift 取樣節點
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

注意：使用所引用的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。