MiniMax H3 Fun Control: ComfyUIでの制御可能な参照画像からビデオ生成#
このRunComfy対応キャンバスは、MiniMax H3 Fun ControlをComfyUIに導入し、正確でプロンプト可能な画像からビデオを生成します。これは、構造パス（深度、canny、ポーズ、HED、またはMLSD）に従い、最初のフレーム参照または完全なキャラクター/スタイル参照のいずれかを尊重します。デフォルトのレイアウトには、シンプルに始めて必要に応じて制御を拡大できる3つの準備済みブランチが付属しています。
グラフ1は単一のコントロールストリームを実行し、デフォルトで有効になっています。グラフ2はキャラクター/スタイル参照と真のネガティブプロンプトを備えた連鎖された深度プラスポーズ設定を追加します。グラフ3はグラフ2を反映していますが、オプションのSolAttnスピードアップパッチを含んでいます。ワークフローをロードした後、準備済みのブランチを有効またはバイパスできます。
Comfyui MiniMax H3 Fun Controlワークフローの主要モデル#
- MiniMax H3ベースUNet（fl2va）および参照からビデオへのUNet（ref2va）。これらは、プロンプトと最初のフレーム（fl2va）または永続的な画像参照（ref2va）から動きを合成するビデオバックボーンです。ComfyUI用のコミュニティパッケージの重みは、Hugging FaceのMiniMax H3実験セットで入手可能です：MiniMax-H3-experimental。
- MiniMax H3 Video VAEおよびAudio VAE。これらは、H3が効率的にサンプリングできるように、潜在的なビデオおよびオーディオストリームをエンコードおよびデコードします。その結果をピクセルとサウンドに戻します。同じモデルパックを参照してください：MiniMax-H3-experimental。
- Qwen-VLファミリーテキストエンコーダー。ワークフローは、MiniMaxに調整されたQwen-VLシリーズのバリアントを使用してプロンプトを解析し、テキスト条件付けをH3にフィードします。このモデルファミリーの背景については、公式リポジトリを参照してください：Qwen2-VL。
- MiniMax H3 Fun ControlNet Union（カーブフォーム）。この単一のControlNetは、複数の制御パス（深度、canny、HED、ポーズ、MLSD）をサポートし、フレーム全体でシーン構造を操ることができます。公式リリースからカーブフォームのチェックポイントを使用してください：MiniMax-H3-Fun-Controlnet-Union。
Comfyui MiniMax H3 Fun Controlワークフローの使用方法#
キャンバスには3つの準備済みブランチが含まれています。グラフ1（単一コントロール）は有効化されており、グラフ2（参照付きの深度+ポーズ）およびグラフ3（SolAttnスピードアップ）はバイパスされています。準備ができたらブランチをオンに切り替えます。有効化されたブランチのみが実行されます。
01 · 単一コントロール · デフォルトで有効#
01 · モデル このグループは、MiniMax H3ベースUNet、Qwen-VLテキストエンコーダー、およびビデオとオーディオ用のH3 VAEをロードします。また、単一のコントロールストリームが構造をガイドできるように、カーブフォームMiniMax H3 Fun ControlNet Unionをロードします。異なるチェックポイントセットから重みを交換したい場合を除き、ここで何も変更する必要はありません。
01 · CONTROL: これがノードです 意図した出力の幅、高さ、フレーム数に一致する1つのコントロールビデオをロードします。ノードはチェックし、両方の数値が一致しない場合はそれを上げます。動きとシルエットを最もよく捉えるサポートされているパス（深度、canny、ポーズ、HED、MLSD）のいずれかを選択します。ストレングスは、1.0が単一コントロールの正しい開始点であり、高く押すと詳細が飽和する傾向があります。制御スケジュールウィンドウは、サンプリング中に制御がアクティブであるタイミングを定義します。ウィンドウを0.6付近で終了すると、構造が早期に固定され、後半のステップで細かいテクスチャを追加できます。カーブフォームのControlNetチェックポイントを使用してください。このノードでは全幅のバリアントはロードされません。
01 · コンディショニング プロンプトを書き、オプションで最初のフレームを提供します。最初のフレームがあると、モデルはその画像から初期化され、構図を維持する傾向があります。最初のフレームがない場合、プロンプトのみが外観を駆動します。ここで幅、高さ、長さを設定します。MiniMax H3は24fps（17n + 5）の有効なグリッドに長さをスナップするので、そのカウントに基づいて編集を計画します。最初と最後のフレームが設定されていないままだと、モデルの自然な開始と終了を使用します。このブランチでは、最後のフレームを追加する必要はありません。
01 · サンプリング サンプラーは、CFGを持たずネガティブ入力がない基本的なガイダーで実行されます。つまり、テキストのネガティブはここでは無視されます。ネガティブが必要な場合は、グラフ2を使用するか、CFGガイダーに切り替えます。後で安定したデコードを行うために、ビデオとオーディオの拡散スケジュールをバランスさせるためにシグマシフトが適用されます。このブランチのスケジュールとサンプラーの選択は、品質とスピードのトレードオフを考慮して調整されています。ベースラインができたら、自由に実験してください。
01 · 出力 サンプルされた潜在変数は、H3 Video VAEおよび存在する場合はAudio VAEでデコードされます。フレームとオーディオはビデオにマルチプレックスされ、出力に保存されます。保存された結果をスタイルチェックとして使用し、コントロールストレングス、スケジュールウィンドウ、またはプロンプトに戻ります。
02 · 深度 + ポーズ参照 · デフォルトでバイパス#
02 · モデル このブランチは、H3参照からビデオへのUNetをロードします。これは、すべてのフレームで静止画からアイデンティティとスタイルを維持するように設計されています。Qwen-VLテキストエンコーダーとH3 VAEを共有しています。構造を駆動するために、カーブフォームMiniMax H3 Fun ControlNet Unionが再利用されます。
02 · CONTROL: 連鎖され、ストレングスは合計で約1.0 2つのApplyノードが連鎖され、各コントロールストリームが独自の貢献を追加します。最初に深度、次にポーズです。ストレングスは予算として扱います。2つのストレングスが合計され、1.0を大幅に超えると、詳細が失われて被写体がぼやけます。深度は粗いジオメトリとカメラ配置に最適です。ポーズは四肢と関節を固定します。1つのストレングスをゼロに設定し、他方を聞いてから、合計1.0付近で調整します。
02 · コンディショニングと参照 MiniMaxH3ReferenceToVideoを使用して、実際の参照画像をプロンプトと共にフィードし、すべてのフレームでアイデンティティとスタイルが持続するようにします。ref_image_sizeのmaxは、計算コストがかかりますが、最も強力なアイデンティティ（より大きな参照トークン）を提供します。matchはより速く、より緩いスタイル制御に十分なことが多いです。同じ参照とネガティブテキストを使用してネガティブブランチを追加し、CFGガイダーが望まないものを差し引くことができます。長さ、サイズ、フレーム数はグラフ1と同じルールに従います。
02 · サンプリング CFGGuiderに切り替えてネガティブコンディショニングを実際に適用します。ガイダンスはコストを追加します。モデルは各ステップでポジティブとネガティブの両方を評価するためです。ここではステップ数が高く設定されており、連鎖されたコントロールと参照が解決する余地を与えます。見た目が気に入ったら、スピードのためにトリムすることができます。シードは再現性を制御します。深度とポーズの予算を調整する間、固定してください。
02 · 出力 デコードとビデオアセンブリはグラフ1を反映しています。出力が構造に一致するが、過度にスムーズに見える場合は、制御ウィンドウの終了を0.6付近に下げるか、総制御ストレングスを少し下げます。アイデンティティが失われる場合は、ref_image_sizeを上げるか、2番目の参照画像を追加します。
03 · オプションのSol-Attnスピードアップ · デフォルトでバイパス#
03 · モデル このブランチは、グラフ2のモデルとコントロールを反映していますが、スパースアテンションの加速パッチを追加しています。これにはSolAttn Triton拡張が必要です。Tritonまたはノードパックがインストールされていない場合、このブランチをバイパスしたままにしてください。
03 · CONTROL: 連鎖され、ストレングスは合計で約1.0 同じ深度プラスポーズチェーンが適用されます。シャープな結果を得るために、合計ストレングスを1.0付近に保ちます。グラフ2と同じ調整アプローチを使用して、ショットと被写体のサイズに最も適した分割を見つけます。
03 · コンディショニングと参照 グラフ2と同一です。ポジティブとネガティブのブランチで参照を一貫して保持し、CFGが適切な特徴を差し引くようにします。最大のアイデンティティを求めている場合は、ref_image_size: maxとわずかに高いステップ数を組み合わせます。
03 · OPTIONAL: スパースアテンション SolAttnPatchは、重要な場所で品質を保持しながら、アテンションが多いブロックを高速化します。mortonをオフにしておいてください。Zオーダーでビデオトークンを並べ替えると、ControlNetが行ごとのオフセットを適用する場所がずれてしまい、制御が実質的に無視されます。スピードを失わずに忠実度を保ちたい場合は、最初と最後のトランスフォーマーブロックを正確に保つのが安全なデフォルトです。Tritonがカーネルをコンパイルした後、より高速な実行を期待してください。最初のパスはほとんどコンパイル時間を測定します。
03 · サンプリングと出力 サンプリング、デコード、保存はグラフ2に従います。SolAttnをオンとオフにして、固定シードで品質と忠実度を判断します。SolAttnで制御が弱く見える場合は、mortonが無効であることを確認してからストレングスを調整してください。
Comfyui MiniMax H3 Fun Controlワークフローの主要ノード#
Apply H3 Fun ControlNet (#23) 現在のモデルに1つのコントロールストリームを追加し、コントロールビデオから抽出されたコントロールフレームのバッチを取得します。strengthを忠実度の予算として使用します。単一のコントロールでは1.0から始め、コントロールを連鎖させる場合は合計を1.0付近に保ち、詳細が失われないようにします。スケジュールウィンドウ（start_percent, end_percent）は、コントロールがアクティブであるタイミングを決定します。0.6付近で終了すると、コントロールが説明できないテクスチャが保存されることがよくあります。
Prompt + first frame -> conditioning (#31) テキストプロンプトとオプションの最初のフレームからコンディショニングを構築し、モデルが初期の構図を尊重できるようにします。最初のフレームを省略すると、プロンプトのみがコンテンツを導きます。幅、高さ、長さはここにあります。H3は24fpsの17n + 5グリッドで長さを受け入れるので、その期間に編集を計画します。
Positive: references + prompt (#1031) 永続的な画像参照とプロンプトテキストをH3に送り込み、アイデンティティとスタイルをすべてのフレームで維持します。ref_image_sizeのmaxは、より大きなトークンを使用して強力なアイデンティティを提供しますが、コストが高くなります。matchはより速く、軽いアイデンティティ圧力で済みます。強力な除外が必要な場合は、ネガティブブランチとCFGGuiderとペアリングしてください。
CFGGuider: the negative only works here (#1040) ネガティブコンディショニングが効果を持つように、分類器フリーガイダンスを有効にします。高いガイダンスはプロンプトと参照の適合を強化しますが、計算を増加させます。各ステップはポジティブとネガティブの両方を実json 行います。長く特定のスタイルのブリーフでは、適度なcfgが適合を大幅に改善する可能性があります。固定シードで並べてテストしてください。
Sigma shift (video 12 / audio 3) (#24) サンプリング前にビデオパスとオーディオパスに適切なシグマプロファイルを与えるために拡散スケジュールを調整します。オーディオをデコードする予定がある場合は、オーディオVAEが互換性のある潜在分布を受け取るように、チェーン内にこれを保持してください。
Sol-Attn (OPTIONAL, needs the SolAttn node pack + Triton) (#2060) グラフを変更せずにH3を高速化するためにスパースアテンションカーネルを適用します。mortonを無効にしておきます。それを有効にするとトークンが並べ替えられ、ControlNetの寄与が意図された行を外れてしまい、制御を無視する完璧な出力のように見えます。保守的なスピードアップを求める場合は、最初と最後のトランスフォーマーブロックを正確に保ち、Tritonコンパイル後にプロファイルを作成します。
BasicScheduler (#42) サンプリングのためのシグマスケジュールとステップ数を提供します。厳密に制御されたショットでは、いくつかのステップを追加することで、制御が消える前に構造を安定させることができます。迅速なスタイルパスでは、時間を節約するためにステップを削減します。スケジューラの調整を制御ウィンドウと組み合わせて、適合性とテクスチャをバランスさせます。
オプションの追加機能#
- コントロールビデオは生成幅、高さ、フレーム数に正確に一致する必要があります。ノードはそれをチェックし、異なる場合は両方の数値を上げます。
- カーブフォームControlNetチェックポイントを使用してください。元の全幅リリースは
H3FunControlLoaderでロードされません。 - コントロールパスに大きな特徴のない領域がある場合、後半のステップでプロンプトからテクスチャを追加できるように制御ウィンドウを0.6付近で終了します。
- アイデンティティが重要なクリップでは、Graph 2またはGraph 3を
MiniMaxH3ReferenceToVideoで使用し、ref_image_size: maxを検討してください。 - Graph 1でネガティブが必要ですか？
CFGGuiderを挿入するか、ネガティブブランチが既に配線されているGraph 2/3に移動します。 - プロジェクトリソース: カスタムノード ComfyUI-H3-FunControl、カーブフォームControlNet MiniMax-H3-Fun-Controlnet-Union、コミュニティH3重み MiniMax-H3-experimental、オプションのスピードアップ ComfyUI-SolAttn_triton。
謝辞#
このワークフローは、次の作品とリソースを実装し、それを基に構築しています。我々は、ComfyUI-H3-FunControlカスタムノードを提供するwyzborrero氏、MiniMax H3 Fun ControlNet Unionモデルを提供するalibaba-pai氏、MiniMax H3実験モデルファイルを提供するKijai氏、SolAttn Tritonオプションのスピードアップノードを提供するkijai氏、Cloud Saveワークフローを提供するRunComfy氏に感謝します。詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- wyzborrero/ComfyUI-H3-FunControl
- GitHub: wyzborrero/ComfyUI-H3-FunControl
- alibaba-pai/MiniMax-H3-Fun-Controlnet-Union
- Hugging Face: alibaba-pai/MiniMax-H3-Fun-Controlnet-Union
- Kijai/MiniMax-H3-experimental
- Hugging Face: Kijai/MiniMax-H3-experimental
- kijai/ComfyUI-SolAttn_triton
- GitHub: kijai/ComfyUI-SolAttn_triton
- RunComfy/Cloud Save workflow
- Docs / Release Notes: RunComfy Cloud Save workflow
注: 参照されたモデル、データセット、コードの使用は、それぞれの著者およびメンテナーによって提供されたライセンスおよび条件に従います。