MiniMax H3 ComfyUI リファレンスからビデオへの4ステップターボ#
MiniMax H3 ComfyUI リファレンスからビデオへの4ステップターボは、静止画像から1つまたは複数のキャラクターのアイデンティティを固定し、ネイティブステレオオーディオを伴った短いクリップを単一の加速パスで生成するRunComfy対応のリファレンスからビデオへのワークフローです。シーン全体で一貫した顔、衣装、舞台設定を維持しながら、カメラモーション、ダイアログ、リップシンクを整合させる必要があるクリエイター向けに設計されています。
このグラフは、MiniMax H3のref2vaパイプラインとターボLoRAを使用しているため、複数の被写体のアイデンティティ、動き、スピーチが長いデフォルトスケジュールなしに統一されます。プロンプト内で<Picture N>を使用して静止画をタグ付けし、オプションでリファレンスビデオとオーディオを持ち込み、ComfyUIのRunComfyでクリーンクリップを直接レンダリングします。
Comfyui MiniMax H3 ComfyUI リファレンスからビデオへの4ステップターボワークフローの主要モデル#
- MiniMax-H3 リファレンスからビデオへのディフュージョンモデル (ref2va)。静止画、オプションビデオ、テキストを条件にコヒーレントなショットを合成するためのコア生成バックボーンを提供します。ウェイトはHugging FaceのComfy-Orgパッケージングで利用可能です。 Comfy-Org/MiniMax-H3
- MiniMax-H3 Video VAE。サンプラーが操作するビデオラテンをエンコードおよびデコードし、時間的スムーズさと詳細を保持します。同じパッケージで配布されています。 Comfy-Org/MiniMax-H3
- MiniMax-H3 Audio VAE。ビデオと共にネイティブステレオオーディオトラックを処理し、ショットと共にスピーチとアンビエンスを作成します。ビデオコンポーネントと共に含まれています。 Comfy-Org/MiniMax-H3
- Qwen-VL 32BテキストエンコーダーはMiniMax-H3用に調整されています。プロンプトには<Picture N>マーカーや舞台指示が含まれており、H3によって使用される条件信号に変換されます。Comfy-Orgリリースにパッケージされています。 Comfy-Org/MiniMax-H3
- MiniMax-H3 Turbo 4ステップLoRA。スケジュールを圧縮してショットを迅速に生成しながら、アイデンティティと動きの一貫性を維持する加速LoRA。 larryvrh/MiniMax-H3-Turbo-Lora
Comfyui MiniMax H3 ComfyUI リファレンスからビデオへの4ステップターボワークフローの使い方#
ワークフローは、リファレンスとタイミングからモデル設定、条件付け、サンプリング、最終的なマルチプレックスまで移行します。静止画のみで実行することも、オプションのリファレンスビデオとオーディオを組み合わせることもできます。
ステージ1 — リファレンス、プロンプト、タイミング#
LoadImageノードを介して1つ以上の静止画をロードし、プロンプト内で<Picture 1>、<Picture 2>などとしてリファレンスする計画を立てます。ガイドクリップがある場合は、VHS_LoadVideoノードを通してフィードします。オーディオもリズムとエネルギーをガイドするために渡すことができます。特注のダイアログやアンビエンスを提供するには、リファレンスビデオオーディオに加えて、または代わりにLoadAudioノードを使用します。キャラクターロック、カメラの動き、ダイアログを含む完全なショット説明をInput Text (Prompt)に入力します。ワークフローは希望の期間を自動的に安定したフレーム数に変換し、タイムラインをMiniMax H3の内部ストライドに合わせます。
ステージ2 — モデル設定とターボ加速#
コアH3 ref2va UNet、テキストエンコーダー、およびビデオとオーディオのVAEは「コアワークスペース」にロードされます。メモリ効率の高いアテンションパッチにより、典型的なGPUでの使用を変更せずに、より大きなショットや高解像度を実行できます。LoraLoaderModelOnly (#164) によってターボ4ステップLoRAが適用され、ステップ数を低く保ちながらアイデンティティロックと動きを維持できます。手動配線は必要なく、グラフはRunComfy用に事前接続されています。使用しない入力がある場合は、Ctrl+Bで未使用のLoad Image / Load Video / Load Audioノードをオフにして実行を軽量化します。
ステージ3 — 条件付けと潜在アセンブリ#
MiniMaxH3ReferenceToVideo (#136) は、プロンプト、静止画、および任意のビデオまたはオーディオリファレンスを取り込み、条件付けと初期潜在タイムラインを構築します。<Picture N>タグを使用して、各人物またはオブジェクトを特定の静止画に明確に結び付けます。順序は埋めたリファレンススロットに従います。自然言語でカメラの挙動、リップシンク、アンビエンスを指示できます。幅、高さ、期間がこのノードに流れ込み、フレーミングとタイミングが意図に一致します。多くの静止画がある場合は、現在のビートのアイデンティティと衣装を真に定義するものだけを保持します。
ステージ4 — サンプリング#
グラフは潜在を最小スケジュールとBasicGuider (#126) によってガイドされるKSamplerSelect (#123) によって選択された高速サンプラーを通してルーティングします。BasicScheduler (#124) は、ターボLoRAが期待するステップパターンを提供し、速度と忠実性のバランスを取ります。SamplerCustomAdvanced (#125) は、再現性のためにシードされたノイズを使用して、1回の効率的なパスでタイムラインを解決します。ほとんどの場合、これらのコンポーネントを構成済みのままにして、プロンプト、リファレンス、フレーミングに集中できます。
ステージ5 — デコード、マルチプレックス、保存#
サンプリング後、VAEDecode はビデオフレームを復元し、VAEDecodeAudio はステレオトラックを復元します。CreateVideo (#130) は、選択したレートとビット深度で画像とオーディオを再生可能なファイルに多重化します。最後に、SaveVideo (#92) は選択したコンテナとコーデックを使用して結果をディスクに書き込みます。出力は、MiniMax H3 ComfyUI リファレンスからビデオへの4ステップターボによって作成されたアイデンティティロックされたキャラクター、カメラモーション、ネイティブステレオオーディオを備えた短いクリップです。
Comfyui MiniMax H3 ComfyUI リファレンスからビデオへの4ステップターボワークフローの主要ノード#
MiniMaxH3ReferenceToVideo (#136)#
これは、プロンプトテキスト、静止リファレンス、およびオプションのビデオ/オーディオを条件付けと初期化された潜在に融合するワークフローの心臓部です。promptを調整して<Picture N>マーカーとカメラ、ダイアログ、アンビエンスの明確な舞台指示を含めます。width、height、lengthを調整してショットのフレーミングと期間を設定します。静止画で詳細と速度のバランスを取る必要がある場合は、ref_image_sizeをレンダーサイズに合わせるモードと軽量化のためのサイズ変更モードの間で切り替えます。シーンで実際に必要なアイデンティティにリファレンスセットを集中させてください。
LoraLoaderModelOnly (#164)#
ref2vaモデルにMiniMax-H3 Turbo 4ステップLoRAを適用してスケジュールを圧縮し、迅速な推論を可能にします。strengthはLoRAがバックボーンにどれほど強く影響するかを制御します。高いほど速度とターボルックを優先し、低いほどベースH3に戻ります。極端な加速で細部の喪失を感じた場合は、LoRAの強度をわずかに減らすか、スケジューラのスケジュールを延ばして忠実度を回復します。バージョンノートと意図された使用法についてはLoRAモデルカードを参照してください。 MiniMax-H3 Turbo LoRA
MiniMaxH3MemoryEfficientSageAttentionPatch (#163)#
MiniMax H3と互換性のあるメモリ効率の高いアテンション実装を可能にし、制限されたVRAMで高解像度または長時間のショットを実行できます。このグラフではパラメータレスで、最適な容量を得るために有効にしておくだけです。このノードはComfyUIのKJNodesの一部です。 kijai/ComfyUI-KJNodes
BasicScheduler (#124)#
サンプリング中に使用されるディフュージョンスケジュールを定義します。ターボLoRAがアクティブな状態で、速度のためにステップ数をコンパクトに保ち、追加のシャープネスや安定性が必要な場合にのみ微調整します。denoiseを使用して、プロンプトが大きな変更を求める場合にリファレンスの再解釈を強化できます。ここでの変更はLoRAの強度や選択したサンプラーと相互作用するため、小さな増分で調整します。
KSamplerSelect (#123)#
パスのサンプリングアルゴリズムを選択します。シンプルで安定したサンプラーはターボスケジュールとよく合い、フレーム間のアイデンティティを保持するのに役立ちます。スタイライズや非常に速いカメラモーションを強調する場合は、わずかな変動を伴うモーションテクスチャを追加する可能性のある代替サンプラーを試してみてください。
CreateVideo (#130) と SaveVideo (#92)#
CreateVideo はデコードされたフレームとオーディオを最終的なストリームに組み立て、fps と bit_depth を設定して配信ニーズに合わせます。SaveVideo はエクスポート用のコンテナとコーデックを選択します。一般的な共有には広くサポートされている組み合わせを使用し、ポスト作業には高品質のバリアントを使用します。迅速に反復する場合は、設定を軽量に保ち、最終レンダリングのためにプロダクション設定に切り替えます。
オプションの追加機能#
- 複数のキャラクターの場合は、最も明確な顔が前を向いた静止画を最初に配置し、<Picture 1>、<Picture 2>などとしてリファレンスします。被写体ごとに1〜2枚の追加静止画を角度や衣装のカバレッジ用に使用します。
- リファレンスビデオを持ち込む場合は、プロンプトに望ましいカメラの動作の短い説明を含めて、H3が保持するものと再解釈するものを認識できるようにします。
- H3に対して内部的に安全なフレーム数にスナップする期間制御があるため、
CreateVideoで目標フレームレートを変更する場合は、プロンプトのタイミングノートを再確認します。 - ビデオおよびオーディオのヘルパーノードはVideo Helper Suiteから来ており、ComfyUI内で堅牢なメディアI/Oを提供します。 Kosinkadink/ComfyUI-VideoHelperSuite
- ComfyUIにおけるMiniMax H3リファレンスからビデオへのベースライン比較ワークフローをお探しですか？公式テンプレートをレビューし、必要に応じてアイデアを適応してください。 Comfy-Org workflow template
謝辞#
このワークフローは、以下の作品やリソースを実装し、その上に構築しています。MiniMax ResearchによるMiniMax H3モデル、Comfy.orgによるMiniMax H3 ComfyUIワークフロー例、Comfy-OrgによるMiniMax-H3モデルウェイト、およびlarryvrhによるMiniMax-H3 Turbo LoRAの貢献とメンテナンスに心より感謝いたします。詳細については、以下のリンクされたオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- MiniMax Research/MiniMax H3公式発表
- ドキュメント / リリースノート: MiniMax H3公式発表
- Comfy.org/MiniMax H3チュートリアル
- GitHub: comfy-org/docs
- ドキュメント / リリースノート: MiniMax H3: ComfyUI Workflow Examples
- **Comfy-json
-Org/MiniMax-H3 モデルウェイト**
- Hugging Face: Comfy-Org/MiniMax-H3
- larryvrh/MiniMax-H3 Turbo LoRA
- GitHub: Larryvrh/ComfyUI-MiniMax-H3-Turbo
- Hugging Face: larryvrh/MiniMax-H3-Turbo-Lora
Note: 使用する参照モデル、データセット、およびコードは、それぞれの著者および管理者によって提供されるライセンスおよび条件に従います。