Pika H3 Flex ComfyUIワークフロー: 2つの参照画像をビデオとステレオオーディオに変換し、A/B Turbo比較#
このPika H3 Flex ComfyUIワークフローは、2つの参照画像とシーンプロンプトを短いビデオと同期されたステレオオーディオに変換します。アーティストや研究者向けに設計されており、高速で高品質の参照からビデオへの結果と、Pika H3 Flex Turbo Ref2VAパスとMiniMax H3 Turboパスの公平なA/B比較を可能にします。
このワークフローは、参照から単一のコンディショニングと潜在を構築し、2つの並行した8ステップサンプリングブランチを実行します。各ブランチはビデオとオーディオをデコードし、それぞれのMP4を書き出します。これにより、スタイル、動きの忠実性、オーディオの信憑性を判断するのが容易になります。
Comfyui Pika H3 Flex ComfyUIワークフローの主要モデル#
- Pika-Labs Pika H3 Flex。Pikaブランチの外観と動きの先行条件を提供する基盤ビデオモデルとアセット。モデルカードを参照して機能と推奨使用法を確認してください。Pika-Labs/Pika-H3-Flex
- Pika H3 Flex Turbo LoRA。高速で高品質なRef2VAをH3 Flexで実現するために最適化された軽量アダプターで、強いアイデンティティ保持と数ステップでの鮮明な動きを実現します。Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- MiniMax H3 Singularity Ref2VA。このモデルは、参照からビデオへのコンディショニングに使用され、MiniMax H3バンドルのVAEとテキストエンコーダーと組み合わされています。WarmBloodAban/Minimax-h3_Singularity
- MiniMax H3 Video VAE and Audio VAE。両方のブランチがビジュアルとサウンドを再構築するために使用するフレームとステレオ波形のデコーダー。Comfy-Org/MiniMax-H3
Comfyui Pika H3 Flex ComfyUIワークフローの使用方法#
グラフは、一貫した状態を引き継ぐグループに整理されています。両方のブランチは同じ参照、プロンプト、寸法、シードを共有し、LoRAステージでのみ分岐して2つの比較可能な出力を生成します。
モデル#
このグループは、MiniMax H3 UNet、テキストエンコーダー、およびペアリングされたビデオとオーディオVAEをロードし、それらを再利用のために登録します。モデルカードからモデルバリアントを交換する場合を除き、ここで何も変更する必要はありません。注意バックエンドは、ビデオワークロードに適した効率的で安定した注意を優先するように設定されています。すべてのモデルオブジェクトはget/setノードを介して保存され、すべての下流ステージが単一の真実のソースを参照できます。
ユーザー入力#
2つの画像ローダーを使用して、被写体を取り込みます。背景は自動的に削除され、アイデンティティとポーズが強調され、新しいシーンに配置されたときの外観の一貫性が向上します。テキストプロンプトにシーンの説明を入力します。「Audio:」行をオプションで含めて、フォーリーとアンビエンスを誘導できます。アスペクト比とメガピクセルを選択します。解像度セレクターは32の倍数の幅と高さを計算し、サンプラーに合わせてスムーズな動きを実現するフレーム数に変換します。再生感と再現性を制御するためにFPSとシードを設定します。
プロンプトと設定の組み立て#
短いスタイルのプライマーがプロンプトに文字列連結ステージを介して追加され、リアリズムと時間的一貫性を促します。プロジェクトのトーンに合わせて、これを保持、編集、または完全に置き換えることができます。最終的なプロンプトは一貫して保存および取得され、両方のブランチが同一のテキストを受け取るようにします。幅、高さ、フレーム数、およびシードも集中化され、比較を保証します。
コンディショニング#
MiniMaxH3ReferenceToVideo (#6617) は、2つの背景がクリアされた参照、パックされたプロンプト、および共有された寸法を取り込み、ポジティブコンディショニングと初期化された潜在をビデオとオーディオに構築します。このノードは、両方の画像からのアイデンティティの手がかりをシーンの意図と融合させ、基本的な動きの計画とオーディオスケッチを生成します。その単一のコンディショニングオブジェクトは、両方のサンプラーにエクスポートされ、PikaとTurboブランチがLoRAスタックと内部サンプラーパスによってのみ異なるようにします。
LoRAs#
同じベースモデルから2つのLoRAスタックが準備されます。1つは、非常に少ないステップでのアイデンティティを保持しつつPikaの外観を強調するためにPika H3 Flex Turbo Ref2VA LoRAを適用します。もう1つは、速度と鮮明さを重視してチューニングされたMiniMax H3 Turbo Ref2V LoRAを適用します。同じシード、プロンプト、コンディショニングが使用されるため、見られる違いは各LoRAのスタイルとダイナミクスを反映しており、入力の変更によるものではありません。
通常のサンプリング - Pika H3 Flex#
このブランチは、登録されたPikaチューニングモデルを選択し、ノイズフィールドをシードし、共有されたコンディショニングで8ステップサンプラーを実行します。デノイズ後、ビデオ潜在とオーディオ潜在はMiniMax H3 VAEによってデコードされます。VHS_VideoCombineはフレームとステレオオーディオをMP4にマックスし、Pika固有のファイル名プレフィックスで保存します。この出力を使用して、アイデンティティの安定性、顔の整合性、動きの滑らかさ、および合成されたフォーリーが「Audio:」ガイダンスにどのように一致するかを判断します。
通常のサンプリング - Turbo LoRA#
このブランチはPikaパスを反映していますが、MiniMax H3 Turbo LoRAを入れ替えます。同じ8ステップサンプラー、シード、プロンプト、フレーム数が適用され、公平なテストを維持します。デコードには同じVAEが使用され、その後VHS_VideoCombineがTurboプレフィックス付きの2番目のMP4を書き込みます。2つのファイルを並べて比較することで、Pika H3 Flex TurboとMiniMax H3 Turboルート間のテクスチャ、動きの攻撃性、およびオーディオの詳細のトレードオフを明らかにします。
Comfyui Pika H3 Flex ComfyUIワークフローの主要ノード#
MiniMaxH3ReferenceToVideo (#6617)#
2つの参照、プロンプト、およびターゲット寸法を単一のポジティブコンディショニングと初期潜在に組み合わせることでRef2VAを中央集権化します。ここで調整するのは本質的なものだけです: シーンプロンプト、参照画像の選択と順序、およびショットに適合する期間/サイズ。ブランチを比較する際には同じ設定を維持し、違いがLoRAによるものであることを反映させます。このノードは、MiniMax H3 VAEが下流でデコードするビデオとステレオオーディオの両方を駆動するように設計されています。
Resolution Selector (Size) (#6345)#
アスペクト比とメガピクセルを選択し、効率的なデコードのために32の倍数に整列した幅と高さを返します。両方のブランチのサイズを設定する1つの場所として使用し、リサンプルアーティファクトを最小限に抑え、フレームごとのディテールを一貫して保ちます。解像度を上げると計算コストが増加し、ステップタイムの余裕が減少するため、外観と動きを微調整する際には段階的にスケールアップします。
StringConcatenate (#6346)#
プロンプトの前にコンパクトなリアリズムプライマーを適用します。異なるトーンやスタイライズを好む場合は、プライマーを置き換えたり削除したりして、独自の表現を優先させます。微妙な表現の変化をテストする際にこのノードを一貫して保持することで、A/Bの整合性を維持します。
BasicScheduler (#6742, #6767)#
このRef2VAセットアップで迅速で安定した結果を得るために最適化された8ステップのスケジュールを提供します。ステップを少なくすると詳細をスピードと引き換えにし、多くすると時間のコストで洗練を加えます。ブランチ全体でクリーンなA/Bを維持するために、ステップを同一に保ちます。
VHS_VideoCombine (#6758, #6776)#
デコードされたフレームとステレオオーディオを最終的なMP4ファイルにマックスします。フォーマットとフレームレートをここで制御し、両方のブランチを同期させます。上流で期間を変更した場合、ライターの設定を確認してオーディオとビデオが整合していることを確認します。
オプションの追加機能#
- 身元の安定性を改善し、顔のドリフトを減少させるために、類似のポーズ、照明、およびクロップで両方の参照画像を準備します。
- 忙しい背景が被写体に漏れた場合は、より強力なマット処理を試すか、よりクリーンなカットアウトを提供します。参照がすでによく分離されている場合は、背景削除をバイパスすることもできます。
- PikaとTurboの比較を行う際には同じシードを維持し、1度に1つの要素のみを変更します。
- 中程度のメガピクセル設定から始め、動きとオーディオの感触を確認した後、構図が気に入ったら解像度をスケールアップします。
- ダイアログや特定のフォーリーの場合、「Audio:」行を簡潔に表現します。環境の手がかりと簡単なアクションは最も信頼性高く合成される傾向があります。
このPika H3 Flex ComfyUIワークフローで使用されるモデルのリソース:
- Pika-Labs/Pika-H3-Flex
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Comfy-Org/MiniMax-H3
- kijai/ComfyUI-KJNodes
- kosinkadink/ComfyUI-VideoHelperSuite
謝辞#
このワークフローは、以下の作品やリソースを実装および構築しています。Pika-LabsによるPika-H3-FlexとPika-H3-Flex-Turbo-LoRA、WarmBloodAbanによるMinimax-h3_Singularity、およびInnovate Futures @ Benjiによる「Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI」に感謝します。詳細については、以下のリンクされた元のドキュメントとリポジトリを参照してください。
リソース#
- Innovate Futures @ Benji/Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- ドキュメント / リリースノート: Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Hugging Face: WarmBloodAban/Minimax-h3_Singularity
- Pika-Labs/Pika-H3-Flex
- GitHub: Pika-Labs/Pika-H3-Flex
- Hugging Face: Pika-Labs/Pika-H3-Flex
注: 参照されているモデル、データセット、およびコードの使用は、それぞれの著者および管理者によって提供されるライセンスおよび条件に従います。
