Wan 2.2 Prompt Relay | シーンコントロールビデオメーカー

Wan 2.2 Prompt Relay: ComfyUIでのタイムライン制御による画像からビデオへの変換#

このワークフローは、Wan 2.2の画像からビデオへの変換にセグメントレベルのシーン指示をもたらします。Wan 2.2を生成に使用し、プロンプトリレー方式で異なるプロンプトを単一のタイムラインにルーティングすることで、シーンからシーンへの制御をレンダリングを切らずに引き継ぐことができます。結果は、各セグメントが独自のプロンプトに従いながら、オブジェクトのアイデンティティとスタイルが一貫しているスムーズなマルチイベントビデオです。

Wan 2.2 Prompt Relayは、推論時のルーティング技術であり、スタンドアロンモデルやLoRAではありません。RunComfyクラウド用に設計されたグラフで、2段階のサンプラーチェーンとオプションのRIFEフレーム補間を含みます。ミニマルなセットアップでの厳密な時間的シーンコントロールが必要なときに使用してください: 開始画像を提供し、グローバルプロンプトとセグメントごとのプロンプトを定義し、ビデオの長さを設定してレンダリングします。

Comfyui Wan 2.2 Prompt Relayワークフローの主なモデル#

• Wan 2.2画像からビデオへの拡散モデル14B。高ノイズと低ノイズのバリアントを組み合わせて、2段階のパスで動きと詳細のバランスを取ります。モデルはHugging FaceのComfy-Org再パッケージセットで利用可能です。 Comfy-Org/Wan_2.2_ComfyUI_Repackaged
• Wan用UMT5-XXLテキストエンコーダー。このエンコーダーは、あなたのグローバルおよびローカルプロンプトをWan 2.2で使用するコンディショニングに変換します。 Comfy-Org/Wan_2.1_ComfyUI_repackaged
• Wan 2.1 VAE。サンプリング後に潜在をフレームにデコードするために使用されます。 Comfy-Org/Wan_2.2_ComfyUI_Repackaged/vae
• RIFEフレーム補間モデル（オプション）。生成後に時間的な滑らかさや目標フレームレートを向上させます。 hzwer/Practical-RIFE

Comfyui Wan 2.2 Prompt Relayワークフローの使い方#

ワークフローは時間をかけてテキストプロンプトをルーティングし、開始画像から潜在ビデオを生成し、オプションの補間とエンコーディングの前にフレームを精緻化してデコードします。最終的なMP4を生成するために協力するいくつかの明確なグループに編成されています。

• ステップ1 - モデルをロード このセクションはWan 2.2、テキストエンコーダー、VAEを初期化します。高ノイズと低ノイズのWanモデルの両方が準備されており、最初にモーションを確立し、次に詳細を強調することができます。LoRAが存在する場合は、サンプリング前にベースモデルに適用されます。チェックポイントを変更したい場合を除いて、ここで変更する必要はありません。
• ステップ2 - start_imageをアップロード LoadImage (#85)を使用して、最初のフレームの構成、被写体のアイデンティティ、照明を定義する単一の参照画像をインポートします。開始画像はビデオの外観を固定し、セグメント全体での連続性を維持するのに役立ちます。最良の結果を得るには、クリーンでモデルに合った参照を使用してください。異なる被写体やレイアウトを望むときはいつでもそれを置き換えます。
• ステップ3 - ビデオのサイズと長さ 潜在ビデオ初期化子 (EmptyHunyuanLatentVideo (#121))で目標解像度と総フレーム数を設定し、セグメントプランと一貫性を保ちます。セグメントの長さの合計は総フレーム数と等しくする必要があります。エクスポートするフレームレートをPrompt Relayの設定とグラフ内のビデオライターと一致させます。
• Lightx2v + i2v コアレンダリングパスは2段階のサンプラーチェーンを使用します。高ノイズモデルを使用したステージ1は、モーションとシーントランジションを確立します。低ノイズモデルを使用したステージ2は、テクスチャを精緻化し、ステージ1からのモーションパスを保持しながら詳細を強調します。この組み合わせが、Wan 2.2 Prompt Relayをシーン間の引き継ぎにおいて制御可能で安定させる要因です。
• プロンプトのルーティング PromptRelayEncodeTimeline (#117)でクリップ全体に適用される強力なglobal_promptを入力します。次に、セグメントプロンプトをJSONタイムラインデータまたはパイプで区切られたリストとして定義します。Prompt Relayはセグメント境界でのみ変化するフレームごとのコンディショニングをエンコードし、オプションで遷移を緩和して自然な引き継ぎを可能にします。ノードはWanのコンディショニングを供給し、各セグメントが意図した方向に従うことを保証します。
• サンプリングとデコード パイプラインはWanImageToVideo (#79)、次に粗いKSamplerAdvanced (#73)、その後に細かいKSamplerAdvanced (#83)を通過します。フレームはVAEDecode (#74)でデコードされ、VHS_VideoCombine (#108)でビデオに書き込まれます。オプションで、スムーズな動きやより高い出力フレームレートが必要な場合は、2番目のVHS_VideoCombine (#132)の前にRIFE VFI (#131)を使用します。

Comfyui Wan 2.2 Prompt Relayワークフローの主なノード#

• PromptRelayEncodeTimeline (#117) Wan 2.2 Prompt Relayの中心的なこのノードは、global_promptとセグメントごとのプロンプトを時間に敏感なポジティブコンディショニングストリームに変換します。timeline_data JSONまたはパイプ構文を使用してlocal_promptsでセグメントを作成できます。ビデオの長さに一致するようにmax_framesを使用し、計画に合わせたtime_unitsを選択し、セグメント間のプロンプト引き継ぎを緩和または強化するためにepsilonを調整します。最終エクスポートと一致するようにfpsを保持します。
• WanImageToVideo (#79) 開始画像とコンディショニングをWan 2.2の初期潜在タイムラインに変換します。開始参照をstart_imageに接続し、潜在初期化子と幅、高さ、長さを一致させます。このグラフでは、過剰な制約を減らし、安定したアイデンティティを維持するために、ネガティブコンディショニングは意図的にゼロ化されています。繰り返し発生するアーティファクトを抑えたい場合のみ、明示的なネガティブプロンプトを導入します。
• KSamplerAdvanced (#73) モーションとレイアウトを強調する最初のパスサンプラーです。ModelSamplingSD3を介して構成された高ノイズWanモデルと協力し、Prompt Relayコンディショニングを尊重しながら軌道を探ります。ガイダンスの強さに対してstepsとcfgを調整し、編集の反復でモーションを再現可能にしたいときには固定されたnoise_seedを保持します。
• KSamplerAdvanced (#83) 低ノイズWanモデルを使用して詳細と時間的一貫性を高める2番目のパスサンプラーです。最初のパスで確立された粗い軌道を争うことなく、テクスチャ、エッジ、およびマイクロモーションを精緻化します。ここで忠実度を高める場合は、モーションを不安定にする可能性のある過剰なシャープ化を避けるためにガイダンスをバランスさせることを検討してください。
• EmptyHunyuanLatentVideo (#121) 空の潜在ビデオを作成し、空間解像度、フレーム予算、およびバッチサイズを定義します。Prompt Relayがプロンプトをきれいにマッピングできるように、セグメントの長さの合計を総フレーム数に設定してください。解像度の変更はメモリとモーションのリズムの外観に影響を与えるため、慎重にスケーリングしてください。
• VHS_VideoCombine (#108, #132) フレームをMP4にエンコードします。補間を使用していない場合は、Prompt Relayのfpsにフレームレートを一致させます。RIFE VFIを使用する場合は、ライターのフレームレートを新しい有効なfpsに設定します。サイズと品質のトレードオフのためにcrfを調整します。

オプションの追加機能#

• トーン、カメラ言語、品質タグをロックするためにglobal_promptを書き込み、セグメントプロンプトを短くアクションに集中させます。
• セグメントの長さの合計がビデオの長さと等しいことを確認し、プロンプトの不一致を避けます。
• プロンプトの反復中にシードを固定し、新しい視点が欲しいときにのみシードをランダム化します。
• アスペクトの優先を示唆するために、背の高いまたは幅の広い開始画像を使用しますが、予測可能性のために常に明示的な幅と高さを設定してください。
• セグメント間でアイデンティティのドリフトが見られる場合は、顕著なオブジェクトディスクリプタでglobal_promptを強化し、ローカルプロンプトを単純化します。

ここで使用されているコンポーネントを探索するためのリソース:

• kijaiによるComfyUI用プロンプトリレーノード GitHub
• Wan 2.2の再パッケージモデル Hugging Face
• Wan 2.x用に再パッケージされたUMT5-XXLテキストエンコーダー Hugging Face

謝辞#

このワークフローは、以下の作品やリソースを実装し、構築しています。ComfyUI-PromptRelayノードを提供してくださったkijai氏、Prompt-Relayプロジェクトのgordonchen19氏、Wan_2.2_ComfyUI_Repackagedモデルの提供とメンテナンスを行っているComfy-Orgに感謝します。権威ある詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。

リソース#

• YouTube/Workflow @Ai Verse source tutorial
  • ドキュメント / リリースノート: @Ai Verse Workflow source tutorial
• AI Verse/AI Verse workflow page
  • ドキュメント / リリースノート: AI Verse workflow page
• kijai/ComfyUI-PromptRelay node repo
  • GitHub: kijai/ComfyUI-PromptRelay
• gordonchen19/Prompt Relay project page
  • GitHub: gordonchen19/Prompt-Relay
  • ドキュメント / リリースノート: Prompt Relay project page
• Comfy-Org/Wan 2.2 ComfyUI repackaged models
  • Hugging Face: Comfy-Org/Wan_2.2_ComfyUI_Repackaged (split_files)

注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナーによって提供されたライセンスおよび条件に従います。