MiniMax H3 8ステップ加速: ネイティブオーディオを用いたオールインワンのマルチモーダルビデオ生成#
MiniMax H3 8ステップ加速は、同期されたネイティブオーディオでシネマティックなビデオを作成するためのオールインワンComfyUIワークフローです。統一されたMiniMaxH3Unifiedノードを通じて、画像参照、ビデオ参照、オーディオ付きビデオ、および独立したオーディオ参照を1つのスムーズなワークフロー内でサポートします。
準備された例では、単一の画像と動き指向のテキストプロンプトを使用しますが、参照からビデオへの使用はワークフローの一つの方法に過ぎません。その統一されたマルチモーダルデザインは、視覚およびオーディオガイダンスの異なる組み合わせをサポートし、入力タイプごとに別々のワークフローグラフを必要としません。
このワークフローはMiniMax H3 FL2VAバックボーンをLightX2V Turbo LoRAとコンパクトな8ステップ、2パスサンプリングスケジュールと組み合わせています。シネマティックなキャラクターショット、ダイアログシーン、雰囲気のあるマイクロストーリー、他のマルチモーダルビデオタスクにデザインされており、より早い反復と同期されたネイティブオーディオから恩恵を受けます。
ComfyUI MiniMax H3 8ステップ加速ワークフローの主要モデル#
- MiniMax-H3公式ウェイト。プロンプトとマルチモーダル参照からビデオとネイティブオーディオを生成するオーディオビジュアル拡散バックボーン。MiniMaxAI/MiniMax-H3
- MiniMax H3ビデオVAEおよびオーディオVAE。ピクセル空間、オーディオ波形、およびH3潜在間を移動するために使用されるペアエンコーダーとデコーダー。Comfy-Orgディストリビューションに含まれています。Comfy-Org/MiniMax-H3
- Qwen3-VL 32Bテキストエンコーダー（AWQ、MiniMax調整済み）。MiniMax H3を駆動する際のプロンプトと参照に対する言語と視覚の基盤を提供します。Comfy-Org MiniMax H3パッケージに同梱されています。Comfy-Org/MiniMax-H3
- LightX2V MiniMax H3 Turbo LoRA。H3が8ステップスケジュールの下で効果的に収束できるように軌道を締めるスピード指向のLoRA。lightx2v/Minimax-h3-Turbo
- MiniMax H3 Latent Upscaler 3D。オーディオの整列を壊すことなく空間の詳細を増やすためにパス間で使用されるH3ネイティブの潜在アップスケーラー。
ComfyUI MiniMax H3 8ステップ加速ワークフローの使い方#
大まかに言えば、ワークフローは1つの統一入力ノードを通じてプロンプトとマルチモーダル参照を収集し、コンパクトな8ステップスケジュールを構築し、動きとシーン構造を確立するために高速な高シグマパスを実行します。その後、ビデオ潜在を3Dでアップスケールし、低シグマの精錬パスを実行して同期されたオーディオとビデオをデコードし、結果をMP4としてエクスポートできます。
入力とサイズ設定#
Resolution Selector (Size) (#115)を使用して、ターゲットの幅と高さを選択します。Input Text (Prompt) (#217)にシーンの説明を入力します。生成されたクリップに話された言葉を含めたい場合は、引用されたダイアログを含めることができます。
オールインワンMiniMaxH3Unifiedノード (#212)は、ワークフローのマルチモーダル参照ハブとして機能します。画像参照、ビデオ参照、オーディオ付きビデオ、独立したオーディオ参照をサポートし、プロンプト、サイズ設定、および持続時間の制御を1つのノードにまとめます。
含まれている例は、即時使用のために1つの参照画像と動きのプロンプトで構成されています。その画像を置き換えるか、同じ統一ノード内でサポートされている他の参照タイプを設定できます。サンプリング、アップスケーリング、デコード、またはエクスポートステージを再構築することなく設定できます。
MiniMaxH3Unifiedでdurationを設定するか、外部オーディオ参照を使用してタイミングをガイドする場合はauto_length_from_audioを切り替えることができます。
モデル設定と加速パッチ#
UNETLoader (#127)はMiniMax H3 FL2VAチェックポイントを読み込みます。次に、MiniMaxH3MemoryEfficientSageAttentionPatch (#160)とModelAttentionBackend (#168)がVRAMに優しいアテンションバックエンドをアクティブにします。
MiniMaxH3SigmaShift (#207)は短いスケジュールのためにビデオとオーディオのノイズ除去ホライズンを整合させます。LoraLoaderModelOnly (#167)は、別の加速グラフを必要とせずにMiniMax H3 8ステップ加速を可能にするLightX2V Turbo LoRAを適用します。
8ステップスケジュールビルダー#
BasicScheduler (#163)はコンパクトな軌道を構築し、ExtendIntermediateSigmas (#220)とH3SigmaRefiner (#209)によってH3のオーディオビジュアルダイナミクスに合わせて微調整されます。
SplitSigmas (#197)は、スケジュールを構造用の高シグマブロックと詳細用の低シグマブロックに分割します。単一のRandomNoise (#129)シードは、両方のパスにフィードされ、動きとオーディオの一貫性を保つのに役立ちます。
ファーストパスサンプラー: 高シグマ#
高シグマブロックはSamplerCustomAdvanced (#125)に流れ込み、BasicGuider (#126)によってMiniMaxH3Unified (#212)からのポジティブコンディショニングでガイドされます。
このパスは、構成、動きのペース、および統一されたオーディオビジュアル潜在内の粗いオーディオベッドを確立します。そのノイズ除去された出力は中間パイプライン強化のために準備されます。
潜在空間のアップスケール#
LTXVSeparateAVLatent (#199)はオーディオビジュアル潜在を分割し、MinimaxH3LatentUpscaler3D (#226)によってビデオチャネルのみがアップスケールされます。オーディオ潜在は同期を維持するために手を付けずに残します。
LTXVConcatAVLatent (#198)は、強化されたビデオ潜在を元のオーディオ潜在と再結合し、精錬のためにシャープだが依然として同期されたオーディオビジュアル潜在を作成します。
セカンドパスサンプラー: 低シグマ#
再結合された潜在は、低シグマブロックとBasicGuider (#178)を使用してSamplerCustomAdvanced (#177)で精錬されます。
このパスは、表面の詳細を追加し、顔の特徴をクリーンにし、オーディオテクスチャを磨きながら、最初のパスで確立された動きとタイミングを維持します。
デコードとエクスポート#
VAEDecode (#186)はビデオ潜在をフレームに変換し、VAEDecodeAudio (#185)はネイティブオーディオトラックを再構築します。
VHS_VideoCombine (#189)は、選択されたフレームレート（デフォルトは24 fps）で結果をMP4にマルチプレックスし、共有可能なオーディオビジュアルクリップを生成します。
ComfyUI MiniMax H3 8ステップ加速ワークフローの主要ノード#
MiniMaxH3Unified(#212)。MiniMax H3の中央オールインワンマルチモーダル参照ハブ。画像、ビデオ、ビデオオーディオ、独立したオーディオ、プロンプト、サイズ設定、および持続時間の制御を1つのノードにまとめ、異なるH3参照タスクが同じ加速生成パイプラインを使用できます。H3SigmaRefiner(#209)。H3が最も恩恵を受ける軌道の一部を優先するようにスケジュールを調整します。速度を犠牲にせずに鮮明な詳細が必要な場合は、少し精錬を追加します。最大スループットを優先する場合は、スリムに保ちます。SplitSigmas(#197)。コンパクトなスケジュールを2パス計画に分割します。8ステップスケジュールでは、ミッドポイントスプリットが速度と品質をバランスさせます。スプリットを移動することで、構造または詳細により多くのステップを割り当てます。MiniMaxH3SigmaShift(#207)。ビデオとオーディオのシグマ範囲をオフセットし、短いスケジュールの下でクリーンに収束させます。同期と安定性に対する効果を理解しない限り、提供されたシフトを変更しないでください。LoraLoaderModelOnly(#167)。LightX2V Turbo LoRAを適用します。強度を下げるとモーションが優しくなり、強度を上げるとスナップが増す可能性がありますが、テクスチャが過度に強調される可能性があります。MinimaxH3LatentUpscaler3D(#226)。パス間で空間の詳細を増やしながら、オーディオ潜在をそのままに保ちます。720pタイプの出力には控えめなmode.scaleを使用し、VRAMが許す場合は1080p用により大きな乗算器を使用します。VHS_VideoCombine(#189)。最終的なマルチプレックスとエクスポートを処理します。frame_rateを調整し、ファイル名のプレフィックスを設定し、プレビュー用にトリミングやピンポンループをオプションで使用します。
オプションのエクストラ#
- マルチモーダル参照。統一されたH3ノードを使用して、画像参照、ビデオ参照、オーディオ付きビデオ、または独立したオーディオ参照を別の生成グラフに切り替えることなく操作できます。
- 迅速スタートプロンプト。MiniMax H3はシネマティックな動詞やカメラ言語に良く反応します。「スロープッシュイン」、「手持ちの揺れ」や引用されたセリフなど、短く具体的なキューは通常、より強い動きとクリーンなスピーチを生み出します。
- 解像度のショートカット。0.4 MPで1.6x潜在アップスケールは720pに近くなります。0.5 MPのファーストパスと2xアップスケーリングは1080pに近くなります。VRAMの制限に達した場合は、ステップスケジュールを変更する前にメガピクセルを減らします。
- 安定性のヒント。再現可能なテイクのために同じシードを保持します。シードのみを変更して、タイミングとシーンの方向を保持しながらクイックバリエーションを作成します。
- アップスケーラーをバイパスするタイミング。速度やメモリを優先する場合は、潜在アップスケーラーの乗算器を1に設定して、実質的に強化ステージをスキップします。
- 適合するシナリオ。このMiniMax H3 8ステップ加速ワークフローは、中距離のキャラクターショット、環境音付きのダイアログ、オーディオビジュアルシーン参照、短い雰囲気のビート、およびクイックイテレーションが重要なマルチモーダルビデオタスクに適しています。
謝辞#
このワークフローは、以下の作業とリソースを実装および構築しています。ワークフローレファレンスのためにRunningHub、MiniMaxAIのMiniMax-H3公式モデル、Comfy-OrgのMiniMax-H3モデルウェイト、lightx2vのMiniMax H3 Turbo LoRAに感謝しています。
権威ある詳細、ライセンス情報、およびモデル使用条件については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- RunningHubワークフローソースとリファレンス
- ドキュメント / リリースノート: Workflow source and reference
- MiniMaxAI/MiniMax-H3
- Hugging Face: MiniMaxAI/MiniMax-H3
- Comfy-Org/MiniMax-H3
- Hugging Face: Comfy-Org/MiniMax-H3
- lightx2v/Minimax-h3-Turbo
- Hugging Face: lightx2v/Minimax-h3-Turbo
注意: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナによって提供されるライセンスおよび条件に従います。