このComfyUI Wan 2.2 VACEワークフローは、単一の参照画像を元に、ポーズ、リズム、カメラの動きに従うモーションマッチビデオに変換します。Wan 2.2 VACEを使用してアイデンティティを保持しながら、複雑な身体の動きをスムーズでリアルなアニメーションに翻訳します。
ダンス生成、モーショントランスファー、クリエイティブキャラクターアニメーションのために設計されたこのワークフローは、参照画像からスタイルプロンプトを自動化し、ソースビデオからモーションシグナルを抽出し、モーションの一貫性と細部をバランスよく保つ2段階のWan 2.2サンプラーを実行します。
ワークフローは、入力、プロンプト、モデル、サンプリング、および出力の5つのグループ化されたステージで構成されています。1つの参照画像と1つの短いモーションビデオを提供します。その後、グラフはモーションガイダンスを計算し、VACEアイデンティティ機能をエンコードし、2パスのWan 2.2サンプラーを実行し、最終アニメーションとオプションのサイドバイサイドプレビューの両方を保存します。
VHS_LoadVideo (#141)でモーションソースクリップをロードします。簡単なコントロールでトリミングし、メモリ用にフレームをキャップできます。フレームは一貫性のためにリサイズされ、その後DepthAnythingV2Preprocessor (#135)がポーズ、レイアウト、カメラの動きを捉える密な深度シーケンスを計算します。LoadImage (#113)でアイデンティティ画像をロードします。自動リサイズされ、サンプリング前にフレーミングを確認できるようプレビューされます。
Florence2Run (#137)は参照画像を分析し、詳細なキャプションを返します。Style Prompt (#138)はそのキャプションを短いスタイルフレーズと連結し、WanVideoTextEncode (#16)はUMT5-XXLを使用して最終的なポジティブおよびネガティブプロンプトをエンコードします。スタイルフレーズを自由に編集したり、ポジティブプロンプトを完全に置き換えたりして、より強力なクリエイティブディレクションを提供できます。このプロンプト埋め込みは、両方のサンプラーステージを条件付けし、生成されたビデオが参照に忠実であることを保証します。
WanVideoVAELoader (#38)は、エンコード/デコード全体で使用されるWan VAEをロードします。2つのWanVideoModelLoaderノードは、Wan 2.2 14Bモデルを準備します：1つは高ノイズ、もう1つは低ノイズで、各ノードはWanVideoExtraModelSelect (#99, #107)で選択されたVACEモジュールを追加しています。オプションのリファインメントLoRAはWanVideoLoraSelect (#56, #97)を通じてアタッチされ、ベースモデルを変更せずにシャープネスやスタイルを調整できます。この構成は、VACEウェイト、LoRA、またはノイズバリアントを交換してもグラフの他の部分に触れずに済むように設計されています。
WanVideoVACEEncode (#100)は、モーションシーケンス（深度フレーム）、参照画像、およびターゲットビデオジオメトリをVACE埋め込みに融合します。最初のWanVideoSampler (#27)は、高ノイズモデルを使用して、スプリットステップまでモーション、視点、グローバルスタイルを確立します。2番目のWanVideoSampler (#90)は、その潜在から再開し、低ノイズモデルでテクスチャ、エッジ、小さなディテールを回復しながら、モーションをソースに固定します。短いCFGスケジュールとステップスプリットは、各ステージが結果にどれだけ影響を与えるかを制御します。
WanVideoDecode (#28)は、最終的な潜在をフレームに戻します。2つの保存されたビデオ：クリーンレンダーと、生成されたフレームを参照の横に配置するサイドバイサイドコンカットが得られます。別の「深度マッププレビュー」は、推測された深度シーケンスを示し、一目でモーションガイダンスを診断できます。フレームレートとファイル名の設定は、VHS_VideoCombineの出力 (#139, #60, #144)で利用可能です。
WanVideoVACEEncode (#100)両方のサンプラーで使用されるVACEアイデンティティとジオメトリの埋め込みを作成します。モーションフレームと参照画像を供給します。ノードは幅、高さ、フレーム数を処理します。期間やアスペクトを変更する場合、このノードを同期させて、埋め込みがターゲットビデオのレイアウトと一致するようにします。
WanVideoSampler (#27)高ノイズのWan 2.2モデルを使用する第一段階のサンプラー。steps、短いcfgスケジュール、およびend_stepスプリットを調整して、軌道のどれだけがモーションシェーピングに割り当てられるかを決定します。大きなモーションやカメラの変更は、やや遅めのスプリットが有益です。
WanVideoSampler (#90)低ノイズのWan 2.2モデルを使用する第二段階のサンプラー。start_stepを同じスプリット値に設定し、ステージ1からシームレスに続きます。テクスチャの過剰なシャープ化やドリフトが見られる場合は、後のcfg値を減らすか、LoRAの強度を下げます。
DepthAnythingV2Preprocessor (#135)ソースビデオから安定した深度シーケンスを抽出します。深度をモーションガイダンスとして使用することで、Wan 2.2 VACEはシーンレイアウト、手のポーズ、オクルージョンを保持します。高速反復のために、入力フレームを小さくリサイズできます。最終レンダーのためには、より高解像度のフレームを供給して構造の忠実度を向上させます。
WanVideoTextEncode (#16)UMT5-XXLでポジティブおよびネガティブプロンプトをエンコードします。プロンプトはFlorence2Runから自動生成されますが、アートディレクションのために上書きすることができます。プロンプトは簡潔に保ちます。VACEアイデンティティガイダンスがあるため、キーワードが少ない方がクリーンで制約の少ないモーショントランスファーを生むことが多いです。
このワークフローは、以下の作品とリソースを実装し、構築しています。ComfyUIコミュニティによるWan 2.2 VACE Sourceのワークフローへの貢献とメンテナンスに感謝いたします。権威ある詳細については、以下にリンクされた元のドキュメントおよびリポジトリを参照してください。
注意：参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナーが提供するライセンスおよび条件に従います。
RunComfyは最高の ComfyUI プラットフォームです。次のものを提供しています: ComfyUIオンライン 環境とサービス、および ComfyUIワークフロー 魅力的なビジュアルが特徴です。 RunComfyはまた提供します AI Playground, アーティストが最新のAIツールを活用して素晴らしいアートを作成できるようにする。