MiniMax 音樂影片：在 ComfyUI 中的歌曲到場景生成#
此工作流程使用 MiniMax H3 將一整首歌曲轉換為節奏感知的視頻鏡頭序列，並可選擇由 MiniMax Music 3 提供音樂創作。它融合了文本提示、參考圖像和主音軌音頻，以產生跟蹤人聲、節拍和情緒的電影片段。結果是一個具有一致角色身份和自然鏡頭過渡的連貫 MiniMax 音樂影片。
為藝術家、編輯和創作者而建，這個工作流程支持表演剪輯、以歌詞為驅動的視覺效果和敘事插入。您可以帶入自己的音軌或先生成一個，然後組裝一個保持視覺連貫性的 MiniMax 音樂影片，隨著歌曲結構演變。
Comfyui MiniMax 音樂影片工作流程中的關鍵模型#
- MiniMax H3 擴散模型。核心視頻生成器，使用參考和提示條件來合成與音頻對齊的鏡頭序列。模型資產在 Hugging Face 上以 Comfy‑Org 名稱空間發布，包括視頻 VAE 和文本編碼器。 Comfy‑Org/MiniMax‑H3
- MiniMax H3 視頻 VAE。將潛在幀解碼為圖像以供預覽和匯出。 minimax_h3_video_vae_fp16.safetensors
- MiniMax H3 音頻 VAE。需要時解碼模型的輔助音頻潛在。 minimax_h3_audio_vae_fp32.safetensors
- MiniMax H3 文本編碼器 (Qwen3VL 32B 變體包裝為 H3)。提供多模態提示理解，用於從參考到視頻生成。 qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
- MiniMax Music 3 擴散模型。文本到音樂生成器，從標題和歌詞計劃創建完整歌曲；在此使用時，您希望在 ComfyUI 內創作音軌。 Comfy‑Org/MiniMax‑Music‑3
- MiniMax Music 3 文本編碼器。將標題和歌詞編碼為音樂生成的條件。 minimax_music3_text_encoder_pruned_int8_convrot.safetensors
- MiniMax Music 3 DAV VAE。將音頻潛在解碼為最終波形。 minimax_music3_dav.safetensors
如何使用 Comfyui MiniMax 音樂影片工作流程#
整體流程。圖表有兩個合作部分：1）可選的音樂創作生成主音軌，2）參考到視頻合成構建與歌曲同步的視覺連貫鏡頭。您可以同時運行它們或插入自己的音頻並跳過音樂創作。最後一步將幀和音頻組裝成渲染的 MiniMax 音樂影片。
1）音樂創作（可選）#
此組使用 MiniMax Music 3 計劃和合成音軌。從 M3SongPlanner (#6171) 開始，草擬結構化標題和歌詞；兩者都可以在編碼前在畫布上的文本查看器中編輯。MiniMaxMusic3TextEncode (#6157) 將該計劃轉換為條件並提供目標持續時間。創建潛在音頻容器，通過 KSampler (#6162) 使用 MiniMax Music 3 UNet (UNETLoader (#6156)) 進行取樣，然後通過 DAV VAE 進行解碼，根據 VRAM 使用標準或平鋪解碼。生成的音頻被保存並設置為工作流程的視頻源音軌。
2）用戶輸入#
提供或生成一首主歌曲。使用 VHS_LoadAudioUpload (#6170) 上傳外部音軌，或使用第 1 步中生成的歌曲。添加一個或多個參考圖像以確定外觀和身份，使用 LoadImage (#6110) 或路徑加載器；圖像由 ImageResizeKJv2 (#6090, #6091) 正常化以穩定條件。將您的創意簡報設置在 (input:prompt) Text Prompt (#138) — 此提示支持主題定義、鏡頭說明和時間提示。通過 Resolution Selector (Size) (#115) 和 (input:duration) Duration (#132) 選擇長寬比和大致持續時間。
3）補丁#
PathchSageAttentionKJ (#142) 啟用一個優化的注意力實現，可以改善某些 GPU 上的吞吐量和內存行為。在取樣之前，這個補丁在加載的 MiniMax H3 模型上運行。除非遇到特定設備問題，否則保持啟用狀態。
4）模型#
UNETLoader (#127) 加載 MiniMax H3 骨幹以進行從參考到視頻的轉換，並可選擇使用 LoraLoaderModelOnly (#5959) 應用 Turbo LoRA 以獲得更快、更有力的結果。視頻和音頻 VAE (VAELoader (#119), VAELoader (#120)) 已準備好進行解碼。這些資產定義了質量範圍，並應在所有鏡頭中保持一致，以保持統一外觀。
5）條件#
MiniMaxH3ReferenceToVideo (#136) 將您的文本提示、參考圖像、目標大小和長度融合為條件和初始潛在。它是創意簡報與採樣器將渲染的橋樑。在此模板中，您可以提供兩個參考圖像來引導服裝、身份和調色板。該組還計算所請求持續時間的鏡頭長度，以便幀在音樂上對齊。
6）取樣#
取樣堆棧結合了 BasicScheduler (#124), BasicGuider (#126), 和 SamplerCustomAdvanced (#125) 與 RandomNoise (#129)。MiniMaxH3SigmaShift (#5960) 坐在上游以偏向 sigma 範圍，以獲得更清晰的視頻運動和穩定的音頻對齊。一起迭代潛在，使其成為遵循您的參考和節拍的圖像。為了可重複性，在提示和參考上迭代時保持種子固定。
7）解碼和創建視頻#
VAEDecode (#122) 將取樣的潛在轉換為幀，Set_video_1 (#5651) 將它們準備好匯出。最終組裝使用 VHS_VideoCombine (#5645)，將幀縫合到選擇的源音頻，並應用從存儲的 src_fps 值中選擇的目標幀率。輸出是一個準備分享的 MiniMax 音樂影片，與音軌保持同步。
8）參考到視頻#
此組是針對主歌曲構建鏡頭序列的創意核心。它接收準備好的 H3 模型、您的參考和計算的鏡頭長度，然後對每個剪輯進行一次取樣。使用它來迭代多個連接的剪輯圍繞同一主題，以便身份、服裝和調色板保持一致。對歌曲的每個部分重複此操作，以涵蓋前奏、詩句、副歌和橋段，並匹配視覺效果。
Comfyui MiniMax 音樂影片工作流程中的關鍵節點#
MiniMaxH3ReferenceToVideo (#136)#
創建綁定提示、參考和目標幾何到潛在的條件以進行取樣。使用它來引導身份和藝術方向，通過一小組高質量圖像和清晰的鏡頭說明。如果一個鏡頭需要更強的面孔或服裝依從性，保持參考風格一致，避免極端裁剪。在更改取樣設置之前，調整提示措辭，因為此節點最強烈地影響屏幕上出現的內容和對象。
MiniMaxH3SigmaShift (#5960)#
在 MiniMax H3 堆棧中偏移 sigma 時間表，以平衡時間變化和音頻對齊。當您希望在鏡頭內部有更多運動和視覺演變時，增加視頻偏移；增加音頻偏移以偏好緊密的節奏和口感。使用適度的更改，並在承諾整個場景之前在短片上測試。
SamplerCustomAdvanced (#125)#
使用選定的計劃器和指導器運行去噪循環。這是您用時間換取質量和質感的地方。為了快速構思，減少步驟並保持種子固定；為了最終效果，給它更多的步驟，並略微指導以細化細節而不失身份。當結果超出您的簡報時，首先簡化提示或減少衝突的參考。
VHS_VideoCombine (#5645)#
將解碼的幀與選擇的音頻組裝成一個視頻文件。保持幀率在所有計劃一起編輯的剪輯中保持一致。如果視覺效果與節拍偏移，確認鏡頭長度和 fps 與源音軌一致。僅在渲染與節奏和歌詞提示匹配後在 NLE 中進行修剪。
MiniMaxMusic3TextEncode (#6157)#
編碼為 MiniMax Music 3 定義結構、編排和人聲特徵的標題和歌詞。將標題寫成涵蓋全局元數據、人聲細節和編排的部分，以便模型理解意圖。使用像 [Intro]、[Verse] 和 [Chorus] 這樣的歌詞部分標籤來標記生成器可以遵循的過渡。關於提示幫助，請參考官方倉庫的指導和工具。 MiniMax‑AI/MiniMax‑Music3
ComfyMathExpression (#131)#
從您的目標持續時間計算內部幀數，並將其捕捉到 H3 時間堆棧在選定 fps 下偏好的節奏。這避免了細微的不同步和卡頓。如果您更改 fps 或持續時間，讓此節點重新計算長度，以便取樣落在節拍上。
可選額外功能#
- 使用穩定結構編寫提示：主題定義、一句話摘要，然後是 1–3 個帶有時間線索的鏡頭段落。保持時態和語氣一致。
- 每個主題使用 1–2 張乾淨的參考圖像。偏好中性光照和包括頭髮和服裝細節的中等裁剪，以改善身份保留。
- 先將場景映射到歌曲。按部分（前奏、詩句、副歌）渲染短片，然後將它們連接起來；這使 MiniMax 音樂影片保持一致，同時允許局部變化。
- 保持解析度和幀率在所有計劃一起編輯的剪輯中保持一致。項目中途更改任一項會使連貫性更難。
- 在低 VRAM 機器上，為長歌曲啟用平鋪音頻解碼；在高 VRAM 上，標準解碼通常更乾淨一些。
- 為了可靠的重新渲染，在匯出最終效果之前鎖定視頻取樣器和音樂取樣器的種子。
致謝#
此工作流程實現並建立在以下作品和資源之上。我們感謝 Innovate Futures @ Benji 為 MiniMax 音樂影片工作流程源的貢獻和維護。欲了解權威詳情，請參考以下鏈接的原始文檔和倉庫。
資源#
- Innovate Futures @ Benji/MiniMax 音樂影片工作流程源
- 文檔 / 發布說明: MiniMax 音樂影片工作流程源
注意：所引用的模型、數據集和代碼的使用需遵循其作者和維護者提供的相應許可和條款。