FastH3 Omni 參考轉換為影片

FastH3 Omni 參考轉換為影片：參考引導影片與同步音效的8步驟#

FastH3 Omni 參考轉換為影片是一個 ComfyUI 工作流程，用於將單一參考圖片和提示轉換為短片，並匹配音效。它由 FastVideo 的蒸餾 FastH3 OmniRef 檢查點在 MiniMax H3 骨幹上提供支持，優化為快速8步取樣。此工作流程非常適合電影級角色鏡頭、光亮產品短片和旅遊場景，當你希望保留參考的外觀但讓動作、攝影機工作和聲音遵循你的提示時。

這個 ComfyUI 圖形將參考輸入、文本提示、稀疏注意力和聯合影片音效擴散傳遞接入一個乾淨的管道。你可以在提示中直接控制場景內容、攝影機運動和音效或對話。結果是一個忠於參考的片段，以24 fps的音效反映書寫的場景。

Comfyui FastH3 Omni 參考轉換為影片工作流程中的關鍵模型#

• FastVideo FastH3 OmniRef (Comfy)。核心的8步擴散檢查點，從參考輸入和提示中生成影片和音效。它為參考轉換為影片任務蒸餾，僅需最少步驟即可產生強烈的身份和同步音效。Model card
• MiniMax H3 Video VAE (int8 convrot)。編碼和解碼擴散模型使用的時空潛變量的影片 VAE，實現緊湊取樣和快速重建。Model file
• MiniMax H3 Audio VAE (fp32)。處理波形潛變量路徑的音效 VAE，使生成的聲音軌道與視覺時間線對齊。Model file
• Qwen3-VL 32B MiniMax H3 NVFP4 AWQ 文本編碼器。大規模視覺語言文本編碼器，用於解析提示並使其與參考對齊，以實現一致的動作、攝影機指令和聲音提示。Model file
• 參考模板。這個工作流程遵循的官方 Comfy-Org 參考轉換為影片模板，適應於 FastH3 Omni 參考轉換為影片。Template JSON

如何使用 Comfyui FastH3 Omni 參考轉換為影片工作流程#

在高層次上，工作流程加載模型，應用注意力和 sigma 補丁，從你的提示和參考中構建條件，運行8步聯合影片音效擴散，解碼為幀和波形，然後混合並保存影片。

模型#

這組加載 FastVideo FastH3 OmniRef 擴散模型、MiniMax H3 影片和音效 VAE，以及 NVFP4 AWQ 文本編碼器。保持這些組件匹配可確保8步計劃和聯合音效路徑按預期運行。除了選擇正確的檢查點外，你不需要在此處進行其他調整。只加載一個擴散模型；VAE 和文本編碼器是單獨的資產。

模型補丁#

模型使用 MiniMaxH3SigmaShift 進行補丁，以對齊影片和音效的噪聲計劃，並選擇注意力後端。ModelAttentionBackend 使用快速 int8 核心處理密集區域，而 BlockSparseAttention 配置為 VSA，以確保高分辨率的長片段保持高效。對於 FastH3 Omni 參考轉換為影片，保持這些選擇不變，因為檢查點已為 VSA 和顯示的 sigma 移動進行訓練。

條件#

MiniMaxH3ReferenceToVideo 從你的提示和參考中構建條件。將你的參考圖片插入第一個插槽，並寫一個通過標籤調用它的提示，例如 "<Picture 1> 走向攝影機，手持拍攝，海風，遠處的海鷗。" 寬度和高度來自分辨率選擇器，簡單的秒數控制轉換為模型的幀網格，以便播放保持同步。如果身份保真度至關重要，將節點的 ref_image_size 設置為 max；若追求速度，使用 match。

取樣#

取樣組合併固定或隨機的 RandomNoise、BasicGuider、一個簡單的調度器和 SamplerCustomAdvanced 階段。計劃為8步，以匹配蒸餾的 FastH3 OmniRef 配方，這在速度和保真度之間取得平衡。你可以更改種子來探索變化，而不改動其他設置。影片和音效潛變量一起演化，以便動作和聲音提示保持同步。

解碼並創建影片#

取樣後，VAEDecode 從影片潛變量重建幀，VAEDecodeAudio 重建聲音軌道。CreateVideo 以24 fps在 sRGB 中將幀和音效多路復用並生成單一流。SaveVideo 使用合理的預設將最終文件寫入磁盤。結果是一個緊湊的片段，反映了你的參考和書寫場景。

用戶輸入#

• 分辨率選擇器 (大小)。選擇長寬比和像素數來控制細節和運行時間；寬屏16:9對大多數鏡頭效果良好。
• 浮動 (時長)。設置片段長度，以秒為單位；它被四捨五入到模型的17k+5幀網格上的最近值，以便時間精確。舉例來說，5秒成為24 fps下的124幀。
• 輸入文本 (提示)。描述主題動作、攝影機語言和音效設計或對話。使用類似 "<Picture 1>" 的標籤按順序引用你的參考。
• 加載圖片。添加乾淨、光線充足的參考以供外觀或場景使用。如果需要，可以擴展節點以添加更多參考插槽。

Comfyui FastH3 Omni 參考轉換為影片工作流程中的關鍵節點#

MiniMaxH3ReferenceToVideo (#136) 這個節點將提示與一個或多個參考融合，並準備聯合影片音效潛變量。用它來在一個地方指導身份保留、攝影機運動和聲音事件。調整 width、height、length 和 ref_image_size 以平衡保真度和速度。保持提示簡潔但明確，關於動作和聲音，以獲得最佳同步效果。

BlockSparseAttention (#143) 注意力補丁啟用 VSA 块稀疏注意力以支持更長的片段和更高的分辨率。在此工作流程中，它被設置為 VSA，具有保守的保留百分比，以在節省計算的同時保持質量。對於 FastH3 Omni 參考轉換為影片，將選擇保持在 VSA；切換到其他稀疏模式可能會降低結果質量。提高保留比率會增加計算，降低可能會降低保真度。

MiniMaxH3SigmaShift (#141) Sigma 移動將影片和音效的擴散噪聲計劃對齊，使兩者在8步中干淨收斂。提供的影片和音效移動適合 OmniRef 檢查點，應保持不變以獲得一致輸出。如果你更換為不同的 MiniMax H3 家族檢查點，請在更改這些值之前查閱其模型卡。

BasicScheduler (#124) 調度器驅動蒸餾模型使用的8步軌跡。保持步驟在8以保持預定速度質量權衡；更多步驟通常會增加時間，而沒有明顯的增益。與固定種子結合使用以獲得可重現性，或隨機化種子以在相同結構下探索替代方案。

可選附加項#

• 撰寫將動作和攝影機動詞與環境聲音或簡短對話配對的提示，以實現緊密的音視頻對齊。
• 若要最大化身份，使用高分辨率、正面參考，並將 ref_image_size 設置為 max；要更快迭代，使用 match。
• 如果在長時間持續期間看到內存壓力，請在觸及注意力設置之前降低分辨率或縮短片段。
• 在開發外觀時使用固定種子，然後切換到隨機種子以從相同設置生成多樣的拍攝。
• 若要構建多鏡頭序列，請從相同參考中渲染幾個短片，使用不同的攝影機提示，然後在你的影片編輯器中剪輯它們。

致謝#

此工作流程實施並建立在以下作品和資源之上。我們對 FastVideo 提供的 FastH3-Omni-Comfy 模型和 FastH3 Omni 模型集合，Hao AI Lab 提供的 FastVideo OmniRef 發布博客，和 Comfy-Org 提供的參考轉換為影片工作流程模板，對他們的貢獻和維護表示感謝。如需權威細節，請參考下方鏈接的原始文檔和存儲庫。

資源#

• FastVideo/FastH3-Omni-Comfy
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Hao AI Lab/FastVideo OmniRef release blog
  • Docs / Release Notes: FastVideo OmniRef update
• Comfy-Org/reference-to-video workflow template
  • GitHub: Comfy-Org/workflow_templates: templates/video_fasth3_ominiref_r2v.json
• FastVideo/fasth3-omni (collection)
  • Hugging Face: FastVideo/fasth3-omni

注意：使用參考的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。