MiniMax H3 相機控制 ComfyUI:將單一圖像轉換為軌跡引導的影片#
此 MiniMax H3 相機控制 ComfyUI 工作流程將參考圖像轉換為乾淨的單次圖像到影片剪輯,使用物理引導的相機運動。您可以將移動設計為方位角、升降角、距離和時間,H3 相機編輯器將其轉換為自然語言的 MiniMax 提示,並使用 Camera Motion LoRA 強化穩定的環繞、推進和傾斜行為,並具有自然的視差。主題和場景保持一致,而只有相機看似在移動。
為產品、角色和環境美麗拍攝而構建,MiniMax H3 相機控制 ComfyUI 工作流程在您需要可重複的移動如側弧或推進時非常理想,無需重建3D場景。它控制生成的影片中的相機路徑;它不創建可導航的3D空間。
Comfyui MiniMax H3 相機控制 ComfyUI 工作流程中的關鍵模型#
- MiniMax H3 圖像到影片骨幹。核心擴散模型將提示加上您的參考幀轉換為連貫的影片幀。查看官方模型卡以獲取詳細信息:MiniMaxAI/MiniMax-H3。
- 來自 Comfy-Org 發行版的 MiniMax H3 Video VAE 和 Audio VAE。這些將模型生成的潛在影片(以及音頻)解碼為幀和可選的音軌:Comfy-Org/MiniMax-H3。
- MiniMax H3 Camera Motion LoRA。輕量級適配器,引導生成向物理合理的環繞、推進和升降變更,同時保留主題身份:Jojocodex/minimax-h3-Camera-Motion-lora。
- MiniMax H3 Turbo LoRA。可選的速度導向適配器,與減少的取樣步驟配對,用於維持軌跡遵循的快速預覽:請參見 Comfy-Org/MiniMax-H3 中的 LoRAs。
如何使用 Comfyui MiniMax H3 相機控制 ComfyUI 工作流程#
工作流程從單一參考圖像流向自然語言相機計劃,然後到 MiniMax H3 生成,最後到影片組裝。
加載和調整參考圖像#
使用 LoadImage (#114) 導入您的源靜態圖像。圖像會自動由 ImageScaleToTotalPixels (#119) 調整大小,以達到平衡保真度和 VRAM 的像素預算。使用高質量、燈光良好的輸入以獲得最佳的身份和光照保留。如果您要匹配交付的縱橫比,請在此考慮以保持下游的構圖可預測。
在 H3 相機編輯器中設計相機路徑#
使用 H3LocalCameraEditor - Natural Language (#127) 將移動定義為相對於起始視圖的方位角、升降角和距離的關鍵幀短時間線。編輯器將其編譯為 MiniMax 準備好的自然語言提示,描述物理相機弧、傾斜和推進,以及預期的長度和 fps。保持主題說明明確,例如 "只有相機移動" 和 "保留姿勢、光照和接觸"。編輯器返回編譯的提示、幀數和 fps 以推動生成。
選擇解析度和時長#
選擇您的輸出大小與 ResolutionSelector (#157)。幀數和 fps 共同決定運行時間;例如,total_seconds = 幀數 ÷ fps。如果您需要快速預覽,選擇較低的百萬像素設置;您可以稍後提高解析度以進行最終的傳遞,使用相同的相機計劃。
使用 MiniMax H3 生成#
Image to Video (MiniMax H3) 子圖 (#105) 將您的計劃交給 MiniMaxH3ImageToVideo (#104),加載適當的 UNet、CLIP 和 VAEs,並應用 LoRAs。Camera Motion LoRA 促進清晰的視差和穩定的主題保留。可選擇啟用 Turbo 模式以獲得更快的草稿;它通過內部開關交換一個 Turbo LoRA 和減少的步驟計劃,以便在最終質量渲染之前迭代移動。
組裝和導出#
CreateVideo (#91) 將解碼的幀和(如果存在)生成的音軌打包;否則,它會寫入一個無聲剪輯。結果由 SaveVideo (#92) 保存,帶有您選擇的文件名前綴。由於 MiniMax H3 相機控制 ComfyUI 工作流程在種子固定時是確定性的,您可以在不更改運動的情況下以更高的解析度或不同的 fps 重新渲染精確的鏡頭。
Comfyui MiniMax H3 相機控制 ComfyUI 工作流程中的關鍵節點#
H3LocalCameraEditor - Natural Language (#127)#
將相機軌跡定義為一組緊湊的時間規範化關鍵幀,並將其編譯為 MiniMax 自然語言計劃。通過調整方位角來調整軌跡以決定環繞方向和跨度,通過調整升降角來決定傾斜,通過調整距離來推進或拉回。對於美麗的移動使用平滑插值;對於機械時間使用線性。保持主題約束嚴格,如果身份和姿勢必須保持不變。
MiniMaxH3ImageToVideo (#104)#
消耗編譯的提示加上您的參考幀,以創建條件和初始潛在序列以進行去噪。寬度、高度和長度控制空間和時間畫布;將這些與編輯器的 fps 和您的交付規格匹配。設置固定的噪聲種子以獲得可重複的結果,或在探索外觀時隨機化。除非您正在嘗試雙幀過渡,否則保持可選的 last_frame 分離。
LoraLoaderModelOnly (#156) 相機運動#
加載 MiniMax H3 Camera Motion LoRA,該 LoRA 強化了您的相機計劃所暗示的環繞、推進和升降語義。在需要對模糊提示有更多控制時增強 strength_model;如果您注意到工件或過度約束,請減少它。強烈的相機移動與小距離相結合可能會壓縮構圖,因此要在強度和構圖之間取得平衡。
ComfySwitchNode (#122) If/Else 開關(模型)#
在基礎模型路徑和 Turbo LoRA 路徑之間切換以快速預覽。啟用時,開關將 Turbo LoRA 與通過伴隨步驟開關的減少去噪步數配對,交換一些細節以提高速度。使用此功能首先鎖定相機移動和構圖,然後關閉以獲得最終質量渲染。
ResolutionSelector (#157)#
提供符合模型的倍數的縱橫比感知大小,同時遵循百萬像素目標。從低開始進行塊內動畫,然後提升以進行交付。如果在項目中途更改解析度,保持種子、fps 和軌跡不變以保持鏡頭的運動。
可選附加項#
- 在您的說明中保持主題真正靜止。寫 "只有相機移動",避免添加與相機計劃相抵觸的動作。
- 結合環繞和推進以獲得最具說服力的視差。使用溫和的推進來適度方位角跨度,產生清晰的深度而不失去構圖。
- 對於有限 VRAM 的性能,在較小的百萬像素下預覽並啟用 Turbo 模式,然後切換回全質量進行最終傳遞。
- 使用固定種子以在解析度或 fps 變更時保持可重複性。
- 工作流程僅控制表觀相機運動;它不重建3D場景。預期運動帶來的自然遮擋變化,而不是自由導航。
致謝#
此工作流程實施並基於以下作品和資源。我們感謝 MiniMaxAI 為 MiniMax H3 提供支持,感謝 Comfy-Org 提供 MiniMax H3 模型文件,以及感謝 Jojocodex 提供 MiniMax H3 Camera Motion LoRA 的貢獻和維護。欲了解詳細信息,請參閱以下鏈接的原始文檔和存儲庫。
資源#
- MiniMaxAI/MiniMax-H3
- Hugging Face: MiniMaxAI/MiniMax-H3
- Comfy-Org/MiniMax-H3
- Hugging Face: Comfy-Org/MiniMax-H3
- Jojocodex/minimax-h3-Camera-Motion-lora
- Hugging Face: Jojocodex/minimax-h3-Camera-Motion-lora
注意:使用所引用的模型、數據集和代碼需遵守其作者和維護者提供的各自許可和條款。

