MiniMax H3 高品質デュアルサンプリング R2V

MiniMax H3 高品質デュアルサンプリングワークフロー: 同期されたネイティブオーディオによるマルチリファレンスビデオ#

MiniMax H3 高品質デュアルサンプリングワークフローは、RunComfy対応のリファレンスからビデオへのグラフで、複数の画像リファレンスとオプションのビデオまたはオーディオキューを短い映画的クリップに変換し、ネイティブオーディオを同時に生成します。デュアルサンプリングスケジュール、メモリ効率の高いH3アテンション、専用のビデオおよびオーディオVAE、ターボ4ステップLoRAパスを組み合わせることで、アイデンティティの保持、安定した動き、鮮明な詳細をバランスさせます。

製品やキャラクターの継続性が必要なクリエイター向けに設計されたこのMiniMax H3 高品質デュアルサンプリングワークフローは、1つのプロンプトで被写体、シーン、サウンドを定義し、グラフを再構築することなく洗練されたH3ビデオ出力を生成します。一連の静止画を入力し、オーディオスタイルリファレンスをドロップし、共有可能なMP4をエクスポートします。

Comfyui MiniMax H3 高品質デュアルサンプリングワークフローの主要モデル#

• MiniMax H3 リファレンスからビデオへの拡散モデル (Ref2VA)。テキストを加えたリファレンスをオーディオビジュアル潜在変数に変換し、フレームとネイティブオーディオの両方を駆動するコアジェネレーター。公式リポジトリでのモデルパッケージと重みをご覧ください: MiniMaxAI/MiniMax-H3 および Comfy-Org/MiniMax-H3。
• MiniMax H3用に調整されたQwen3-VL 32Bテキストエンコーダー。被写体、ショット、サウンドを説明する構造化プロンプトを解釈し、Comfy-Orgモデルパックに含まれるCLIPスタイルの埋め込みを介してH3 UNetを条件付けます: Comfy-Org/MiniMax-H3。
• MiniMax H3 ビデオVAE。効率的で高品質なフレーム生成のためにビデオ潜在変数を圧縮およびデコードし、Comfy-Orgリリースに同梱されています: Comfy-Org/MiniMax-H3。
• MiniMax H3 オーディオVAE。ネイティブオーディオ潜在変数をエンコードおよびデコードし、スピーチやアンビエンスを同じパイプライン内で生成および同期します: Comfy-Org/MiniMax-H3。
• MiniMax H3 ターボ4ステップLoRA。短いスケジュールで詳細と時間的安定性を向上させる軽量なリファインメントパス。このワークフローでベースH3 Ref2VAモデルにスタックします。

Comfyui MiniMax H3 高品質デュアルサンプリングワークフローの使用方法#

このグラフは、リファレンスとプロンプトからH3サンプリング、デコード、MP4エクスポートまでの作業を引き渡す明確なグループに整理されています。デュアルサンプリングはまず動きと構造を確立し、その後詳細とオーディオを洗練しつつアイデンティティを保持します。

リファレンスエリア#

最大9つの静止リファレンスを人、オブジェクト、または環境用にロードします。これらはH3リファレンスからビデオノードにフィードされ、モデルがアイデンティティ、衣装、シーン要素にロックオンできるようにします。必要に応じて、視覚的リファレンスとして短いクリップをルートすることもできます。ターゲットの視点や照明に既に一致しているリファレンスを使用すると、最適な保持が得られます。バッチやスプライトシートを持ち込む場合、GetImageRangeFromBatch (#40) を使用して、下流で使用したいフレームを抽出できます。

ビデオリファレンスエリア#

リファレンスビデオから開始したい場合は、ビデオローダーを使用してフレームを取得し、必要に応じて持続時間を制約します。GetImageRangeFromBatch (#40) は連続したスライスを選択するので、ワークフローは軽量のままです。これらのフレームは、最初のH3パスの構造または動きのガイダンスとして機能します。静止画像とビデオを混合することができ、H3エンコーダーがサンプリング前にそれらを融合します。

オーディオリファレンスエリア#

声の音色、リズム、またはアンビエンスをガイドするために、1～3つの短いオーディオスニペットをロードします。これらは逐語的にコピーされるのではなく、オーディオ潜在変数を形作り、最終的なスピーチやサウンドスケープが同じスタイルに従うようにします。話し言葉のラインには、背景ノイズが最小限の短くてクリーンな声のクリップが最適です。オーディオを省略した場合でも、ワークフローはプロンプトから妥当なアンビエンスを生成します。

モデル#

このグループは、H3 UNet、Qwenベースのテキストエンコーダー、および両方のVAEを配線し、メモリ効率の高いアテンションパッチを適用します。Lora Loader Stack (rgthree) (#118) がターボ4ステップLoRAを追加し、長いスケジュールなしでより高い詳細を得ることができます。アテンションパッチノードはVRAMの圧力を軽減し、より大きな解像度で役立ちます。これらは、サンプラーが使用するコンディショニングスタックを準備します。

サンプリング#

MiniMaxH3ReferenceToVideo (#56) は、プロンプト、リファレンス、および解像度が組み合わさり、コンディショニングと初期のオーディオビジュアル潜在変数を生成します。このノードは、subject_definitions、summary、retention_analysis、detailed_description、overall_soundscape、non_diegetic_musicなどの構造化プロンプトセクションを読み取り、シンプルな構成を維持しつつ強力な制御を可能にする基本的なガイダーとサンプラーの選択を設定します。これをデュアルサンプリングリファイナーが引き継ぐ前のステージングエリアと考えてください。

シグマ#

短いスケジューラーがシグマスケジュールを生成し、それが分割されてデュアルサンプリング構造を駆動します。一方のブランチは安定性と粗い動きを強調し、もう一方は高周波ディテールと鮮明さを強調します。小さなブーリアンスイッチで、難しいショットでのクリーンアップが必要な場合に中間領域を拡張またはバイパスできます。ここでの数値調整は必要なく、顔やロゴに追加の忠実度が必要な場合は拡張範囲を有効にするかどうかを選択するだけです。

SamplerCustomAdvanced#

最初のSamplerCustomAdvanced (#108) パスは、低いシグマ範囲でレイアウト、アイデンティティ、モーションリズムを確立します。潜在変数はビデオとオーディオに分離され、ビデオ潜在変数は潜在空間で軽くアップスケールされて詳細のためのヘッドルームを追加できます。2番目のSamplerCustomAdvanced (#103) パスは、高いシグマスライスを使用してエッジとテクスチャをシャープにし、最初のパスのガイダンスを尊重します。SamplerCustomAdvanced (#106) のコンパニオンパスは選択的にノイズを除去または領域を保持でき、スイッチノードがデコード前の最適な最終潜在変数を決定します。この2パスのダンスがMiniMax H3 高品質デュアルサンプリングワークフローに安定性と鮮明なディテールの信頼性をもたらします。

Acceleration Nodes#

VRAMが厳しいGPU向けに、UniBlockSwapは一時的にUNetブロックをシステムメモリに交換し、VRAMReserverはデコードと最終的なマルチプレックスのためのヘッドルームを確保します。これらの速度とメモリのヘルパーは品質への影響が最小限で、メモリ不足警告が表示されたときにオンにできます。グラフに配線されたUNetパスの近くに保管してください。

ビデオの保存#

最終潜在変数は専用のビデオおよびオーディオVAEによってデコードされ、PixaromaSaveMp4 (#115) がフレームとオーディオをMP4にマルチプレックスします。ここでターゲットフレームレートを設定し、生成されたオーディオの長さにビデオをトリムするかどうかを選択します。ファイル名プレフィックスとサブフォルダーでテイクを整理しやすくします。新しいシードやリファレンスを使用して再実行すると、出力は同じフォルダーにスタックされます。

Comfyui MiniMax H3 高品質デュアルサンプリングワークフローの主要ノード#

MiniMaxH3ReferenceToVideo (#56)#

テキスト、画像、およびオプションのビデオまたはオーディオリファレンスをH3のためのコンディショニングおよび初期のオーディオビジュアル潜在変数に融合します。promptを調整して被写体、シーンの連続性、ショットのタイミング、サウンドデザインを定義し、width、height、lengthを設定してアスペクトと持続時間をターゲットにします。連続性が重要な場合は、複数のリファレンス画像を使用してアイデンティティと衣装を固定します。

Lora Loader Stack (rgthree) (#118)#

MiniMax H3ターボ4ステップLoRAをベースモデルに適用し、短いスケジュールで詳細を改善します。エッジが鋭すぎる場合や、ベースモデルスタイルがオーバーライドされている場合は、LoRAの強度を調整します。リファレンスが既に強いテクスチャを持っている場合は、LoRAのレイヤリングを最小限に抑えます。

MiniMaxH3MemoryEfficientSageAttentionPatch (#70)#

H3 UNetのためのメモリ効率の高いアテンションを有効にし、より高い解像度や長いクリップを控えめなGPUで実行できます。8GBから12GBのカードまたはVRAMスパイクが見られる場合にオンにします。高メモリーGPUでの生のスループットをベンチマークする場合のみ無効にします。

SplitSigmas (#99)#

スケジューラーを補完的なシグマバンドに分割し、2つのサンプラーパスにフィードします。シーンが安定しているが鋭さが欠けている場合は、高シグマブランチにより多くの重みをシフトします。動きがジッターしたり、アイデンティティがずれる場合は、低シグマブランチを優先し、拡張中間スイッチをオフにしておきます。

SamplerCustomAdvanced (#108)#

構造、動き、アイデンティティを確立する最初のパスサンプラー。プロンプトとリファレンスと一致するガイダーを維持し、2番目のパスがクリーンなベースを持つようにします。このパスを使用して、シードとフレーミングを迅速にテストし、洗練にコミットする前に行います。

SamplerCustomAdvanced (#103)#

エッジを強化しディテールを修正するために高いシグマスライスを使用するリファインメントサンプラー。堅固な最初のパスの後に最適に機能します。顔やロゴがオーバーシャープ化し始めた場合は、過駆動を避けます。追加のテクスチャヘッドルームが必要な場合にのみ、潜在アップスケーリングとペアリングします。

ComfySwitchNode (#107)#

デュアルサンプリング後の代替潜在リファインメントを選択します。補助ノイズ除去ブランチ対直接リファインブランチの結果を比較する際にトグルします。どのパスが被写体セットに対してアイデンティティをより良く保持するかをメモしておきます。

PixaromaSaveMp4 (#115)#

デコードされたフレームとオーディオをMP4にマルチプレックスします。fpsを動きの感触に合わせ、trim_to_audioを使用してタイトなオーディオビジュアル同期を行います。filename_prefixを更新して、ショットや被写体ごとにテイクを整理します。

オプションの追加#

• コアパターンを学ぶために公式のH3 R2Vテンプレートから開始し、このグラフをカスタマイズします: Comfy-Org workflow template。
• ResolutionSelector (#73) を使用して、GPUが処理できるアスペクトとメガピクセルのターゲットを選択し、フレーミングが正しいと感じたら徐々に増やします。
• モデルが理解する構造化セクションでプロンプトを行います: subject_definitions, summary, retention_analysis, detailed_description, overall_soundscape, non_diegetic_music。このスタイルはH3に明確な制約を与えます。
• アイデンティティが重要なショットには、同じ被写体の高品質な静止画を3～5json

枚、照明と角度が一致するものを提供します。リファレンスに重いフィルターをかけないようにします。

• 一貫した音色をキャラクター間で維持するために、1～5秒のクリーンな声のスタイルクリップをオーディオリファレンスとして提供します。ノイズや音楽を抑えます。
• VRAM制限に達した場合は、アテンションパッチとAcceleration Nodesグループを有効にします。最初に解像度を下げ、次に長さを調整します。
• 動きが正しいがテクスチャが柔らかい場合は、最初のパスをそのままにして、全体のステップを延長するのではなく、2番目のサンプラーブランチへの依存を増やします。
• バージョンを頻繁に保存します。小さなプロンプトの編集が大きな影響を与えるため、MiniMax H3 高品質デュアルサンプリングワークフローはビデオとオーディオの両方を同時に条件付けします。

謝辞#

このワークフローは、以下の作品とリソースを実装および構築しています。MiniMaxAIによるMiniMax-H3モデル、Comfy-Org/Comfy.orgによるComfyUIテンプレート、MiniMax H3のチュートリアルおよび重み、RunningHub.aiによるワークフローリファレンスの貢献とメンテナンスに感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリをご参照ください。

リソース#

• RunningHub.ai/ワークフローソースとリファレンス
  • ドキュメント / リリースノート: ワークフローソースとリファレンス
• MiniMaxAI/MiniMax-H3 (公式モデル)
  • Hugging Face: MiniMaxAI/MiniMax-H3
• Comfy-Org/MiniMax-H3 (モデル重み)
  • Hugging Face: Comfy-Org/MiniMax-H3
• Comfy.org/MiniMax H3 チュートリアル
  • ドキュメント / リリースノート: チュートリアル
• Comfy-Org/ComfyUI MiniMax H3 R2V テンプレート
  • GitHub: Comfy-Org/workflow_templates

注意: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナによって提供されたライセンスおよび条件に従います。