MiniMax H3 First Last Frame to Video Acceleration#
このComfyUIワークフローは、一致する最初のフレームと最後のフレームを、同期されたネイティブステレオオーディオ付きの短いビデオに変換します。Turbo Acceleration LoRAを使用してMiniMax H3を実行し、最初と最後のキーフレームを保持しながら動きを迅速にします。その結果、RunComfyでキャラクターのアクション、カメラの動き、製品のビートをドラフトするのに理想的な高速FL2VAパイプラインが得られます。
MiniMax H3 First Last Frame to Video Accelerationは、スピードと時間的な整合性に焦点を当てています。開始と終了のフレームを固定することで、設定したビジュアルターゲットにクリップが達し、加速されたサンプリングスケジュールがターンアラウンドタイムを劇的に短縮します。クリエイターは迅速なプレビューを得て、それを繰り返し、必要に応じてアップスケールや改良ができます。
What you get#
- ComfyUIでの最初と最後のフレームを条件としたビデオ生成
- Turbo LoRAによる加速されたMiniMax H3サンプリング
- ビデオと共に生成されるネイティブステレオオーディオ
- 視覚的に尊重される開始と終了のキーフレーム
- 迅速なレビューと共有のためのワンクリックエクスポート
Key models in Comfyui MiniMax H3 First Last Frame to Video Acceleration workflow#
- MiniMax-H3 by Comfy-Org. 拡散ベースの生成に使用されるコアビデオ基盤モデルで、最初/最後のフレームのガイダンスと同期されたオーディオ出力を備えています。プロンプトとキーフレームに従いながら時間的一貫性のあるフレームを生成します。 Model card
- MiniMax-H3 Turbo LoRA. H3の効果的なサンプリングスケジュールを加速する軽量アダプタで、キーフレームロックを維持しながら、はるかに少ないステップで動きの収束に到達できます。 Model card
How to use Comfyui MiniMax H3 First Last Frame to Video Acceleration workflow#
このグラフは、2つのアンカーフレームとオプションのテキストプロンプトを取り、それからステレオオーディオ付きの短く一貫したクリップを生成します。段階的に進行します：入力、整列、動きのガイダンス、加速されたH3サンプリング、オーディオ生成、エクスポート。
Inputs: first frame, last frame, and prompt#
被写体のアイデンティティ、露出、アスペクト比を共有する視覚的に一致する最初と最後のフレームを提供します。スタイルとコンテンツを導くための簡潔なテキストプロンプトを追加します。避けたい要素にはネガティブプロンプトを使用します。クリップの長さ、フレームレート、解像度をフレーム間の動きに適したものに選択します。再現可能なシードを設定して、一貫した再実行を可能にします。
Alignment and normalization#
ワークフローは解像度と色を正規化し、両方のキーフレームが同じ空間に収まるようにします。基本的な事前チェックが露出やホワイトバランスの不一致によるちらつきを減少させるのを助けます。構図がクリップ全体で一貫性を保つように、軽微なリフレーミングを適用できます。この整列ステップは、MiniMax H3が被写体のポーズとカメラの変化を補間する方法を改善します。
Keyframe-conditioned motion guidance#
最初と最後のフレームは、ビデオが開始し終了しなければならない硬いアンカーとして機能します。条件付けスタックは、プロンプトの特徴と両方のフレームからの視覚的な手がかりをブレンドして、動きの経路を形成します。これにより、アイデンティティ、レイアウト、シーン属性が安定しながらも、自然な中間遷移が可能になります。ガイダンスの強さは、アンカーへの忠実度と自然な動きの余地をバランスさせます。
Accelerated MiniMax H3 sampling#
MiniMax H3は、Turbo LoRAを搭載して効果的なサンプリングスケジュールを短縮します。サンプラーはグローバルな動きを迅速に解決し、キーフレームロックを尊重しながら詳細を洗練します。フレームがカメラの移動やポーズの変化を示唆する場合、プロンプトの積極性を抑えるか、合計ステップを少し増やして安定性を優先することができます。小さく、よく一致した動きには、加速が非常に短時間で鮮明な結果をもたらします。
Native stereo audio generation#
オーディオはビデオと共にネイティブに生成され、リズムと意味的な手がかりが視覚コンテンツに一致します。短いオーディオまたはシーンの雰囲気のプロンプトを提供するか、モデルが視覚とテキストのコンテキストから音を推測させることができます。ワークフローは、クリップの長さに自動的に一致するステレオトラックを生成します。ラウドネスと開始はクリッピングを避け、ポストプロダクションでの対話や音楽の下にうまく収まるように調整されます。
Assembly and export#
フレームはデコードされ、順序付けられ、生成されたステレオオーディオが多重化されたレビュー準備完了のビデオファイルにパックされます。ファイル名はプロンプトとシードのコンテキストをキャプチャし、後で設定を追跡できるようにします。最終クリップの横に、ワークフローはアンカーと出力のA/B比較のための静止画を保存できます。これらを使用して、高解像度または長い時間にコミットする前に迅速に反復します。
Optional extras#
- 一貫した照明と色を持つアンカーフレームを選択してください。強い不一致は、FL2VAモデルの作業を困難にします。
- アンカー間の動きを適度に保ち、最もクリーンな加速を実現します。極端なポーズジャンプには、より多くのステップまたは穏やかなプロンプトが必要かもしれません。
- クリップの端が正確でなければならない場合、攻撃的なスタイルプロンプトよりもアンカーフィデリティを優先します。
- 製品ショットの場合、ニュートラルな背景と中心的な構成が、遷移を通じてジオメトリを保持するのに役立ちます。
- 成功したドラフトのシードを保存し、同じ外観で後でアップスケールまたは延長できます。
リンクされた資産へのリンク：
- Hugging FaceのMiniMax-H3モデルウェイト：Comfy-Org/MiniMax-H3
- Turbo加速LoRA：larryvrh/MiniMax-H3-Turbo-Lora
Acknowledgements#
このワークフローは、以下の作品とリソースを実装し、それに基づいて構築されています。我々は、MiniMax H3モデルのMiniMax、MiniMax H3チュートリアルのComfy.org、MiniMax-H3モデルウェイトのComfy-Org、およびMiniMax-H3 Turbo LoRAのlarryvrhに感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
Resources#
- MiniMax/MiniMax H3公式発表
- ドキュメント / リリースノート：MiniMax H3公式発表
- Comfy.org/MiniMax H3チュートリアル
- ドキュメント / リリースノート：Comfy.org MiniMax H3チュートリアル
- Comfy-Org/MiniMax-H3モデルウェイト
- Hugging Face：Comfy-Org/MiniMax-H3
- larryvrh/MiniMax-H3 Turbo LoRA
- Hugging Face：larryvrh/MiniMax-H3-Turbo-Lora
注意：参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナーによって提供されたライセンスおよび条件に従います。