MiniMax H3 Singularity Reference To Video: ComfyUIでのマルチリファレンス、アイデンティティ保持のビデオ生成#
MiniMax H3 Singularity Reference To Video ComfyUIワークフローは、複数のキャラクター、スタイル、シーンの参照を一貫性のある時間的に安定したビデオに変換します。フレーム間で被写体を保持しながら、外観、衣装、照明、環境に対する強い創造的なコントロールを可能にします。
簡潔な二段階の拡散レシピを中心に構築され、間に潜在アップスケールを挟んでいます。このワークフローは、制御された動きと高忠実度のディテールをバランスさせます。ファッションフィルム、ステージパフォーマンス、SFヴィネット、アニメーションキャラクターシーケンスに最適で、開始から終了までアイデンティティとスタイリングを一貫して保つ必要があります。
Comfyui MiniMax H3 Singularity Reference To Videoワークフローの主要モデル#
- MiniMax‑h3 Singularity v1.3 (reference‑to‑video checkpoint) テキストプロンプトと画像参照を融合し、強いアイデンティティとスタイル保持で時間的に一貫したクリップを生成するためのコミュニティリファレンス‑to‑videoモデル。Model card
- CLIP text encoder プロンプトをビデオモデルが理解するセマンティックスペースにマッピングし、構成、照明、動きのプロンプトステアリングを可能にします。CLIPのテキスト‑イメージアライメントについての背景は、オリジナルの論文を参照してください: Learning Transferable Visual Models From Natural Language Supervision.
- Autoencoder (VAE) compatible with the checkpoint フレームを潜在空間にエンコードし、高速な拡散を可能にし、最終的な潜在をRGBにデコードしながら細部を保持します。
Comfyui MiniMax H3 Singularity Reference To Videoワークフローの使用方法#
このComfyUIグラフは明確なパスに従います: 参照とプロンプトを取り込み、低コストのベースパスを生成してアイデンティティと動きを固定し、ディテールのために潜在をアップスケールし、シャープネスを向上させ、フレームをビデオに組み立てます。
参照とプロンプトの設定#
被写体の役割をカバーする複数の参照画像を提供します（アイデンティティのための正面または3/4ビュー）、アートディレクションを伝えるスタイルフレーム、および環境やパレット用のオプションのシーン参照を提供します。顔は妨げられず、適度にシャープである必要があります。被写体の名前、衣装、設定、照明を含む簡潔なポジティブプロンプトを書き、嫌いなアーティファクトを排除するための短いネガティブプロンプトを書きます。複数のショットを計画している場合は、プロンプトを安定させ、連続性を維持するために変更が必要な部分だけを調整します。ワークフローはすべての参照をプロンプトとブレンドし、被写体がフレーム間で一貫して読み取れるようにします。
ベース生成パス#
ベースパスは、被写体の類似性、ポーズ、広範な動きを確立し、ステップを経済的に保ちながら、信頼性のあるアイデンティティと安定した動きを提供します。再現性のためにシードを設定し、被写体が漂った場合のみガイダンス強度を調整します。全体の動きとフレーミングが気に入ったら、同じアイデンティティを後のステージに引き継ぐためにシードを固定します。被写体がまだ揺れる場合は、最も関連性の高い参照画像を強化するか、プロンプトを簡素化します。
潜在アップスケール#
潜在アップスケール段階では、詳細が導入される前に潜在空間で作業解像度を拡大します。この時点でのアップスケーリングは、ベースパスで承認した動きを保持しながら、鋭いエッジ、髪のディテール、布のテクスチャのための余地を作ります。潜在でアップスケールが発生するため、新しい動きのジッターを導入することなくディテールを追加します。より高い解像度を出力する予定がある場合、この段階はクリーンなピクセルをリファインメントのために準備するレバーです。連続性を確保するためにシードと参照を変更しないでください。
リファインメントパス#
リファインメントパスは、テクスチャ、輪郭、小さな特徴をシャープにし、構成や動きを書き換えることなく強化します。それは意図的に短く、ベースパスを再構築するのではなく強化するもので、参照からアイデンティティとスタイルを保持します。このパスを使用して、革の光沢、スパンコール、SFパネルなどの材料特性を引き出し、顔や目のぼやけを減少させます。過度のシャープ化やちらつきが見られる場合は、プロンプトの強度をわずかに下げるか、リファインメントパスの適用をどの程度積極的に行うかを減少させます。出力は、クリーンで一貫性のあるフレームのセットで、エンコードの準備が整っています。
組み立てとエクスポート#
最終段階では、選択したフレームレートと解像度でフレームをビデオクリップにまとめます。被写体の動きに適した期間とfpsを選択します。ゆっくりとした意図的な動きは、中程度のフレームレートで最もよく見えることがよくあります。MP4やWebMなどの共通コンテナに保存して、簡単に共有できるようにします。変種をシード、参照、プロンプトノートごとに比較できるように、出力を体系的に名前付けします。ショットを編集する予定がある場合、同じシードで数回のテイクをエクスポートして、カット間でアイデンティティをロックします。
オプションの追加機能#
- 役割ごとに参照をキュレート: アイデンティティのために1～2、スタイルのために1、環境のために1を使用。参照間で矛盾する照明を混ぜないでください。
- アイデンティティ参照には顔がフレームを支配するようにタイトクロップを使用し、スタイルまたはシーンフレームには外観とパレットを使用します。
- プロンプトをモジュール化します。ショットごとに変更される部分、例えばカメラアングルや背景だけを交換してアイデンティティを維持します。
- 動きと類似性を検証するために短いクリップで開始し、外観に満足したら持続時間をスケールします。
- テイク間でより強い連続性が必要な場合、同じシードを再利用し、最も影響力のある参照画像を変更しないでください。
このMiniMax H3 Singularity Reference To Videoワークフローは、キュレートされた参照を直接ComfyUI内で映画的でアイデンティティを一貫して保持したビデオに変換する迅速で再現可能な方法を提供します。
謝辞#
このワークフローは以下の作品とリソースを実装し、構築しています。ワークフローソースのためのRunningHubとMiniMax H3 SingularityモデルのためのWarmBloodAbanの貢献とメンテナンスに深く感謝します。権威ある詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- RunningHub/Workflow source
- Docs / Release Notes: Workflow source
- WarmBloodAban/Minimax-h3_Singularity
- Hugging Face: WarmBloodAban/Minimax-h3_Singularity
注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナによって提供されるライセンスおよび条件に従います。