Wan Animate 2 ComfyUI | 正確なモーション転送

Wan Animate 2 ComfyUIモーション転送：ドライビングビデオからの単一画像キャラクターアニメーション#

Wan Animate 2 ComfyUIは、1つのリファレンスキャラクタースティルとドライビングポーズビデオを新しいフルボディアニメーションクリップに変換します。これはWan-Animate-2を中心に構築されており、エンドツーエンドの拡散トランスフォーマーで、生のフレームから直接モーションを転送するため、OpenPoseやスケルトン抽出は必要ありません。ワークフローは、テキストを通じて背景、スタイル、カメラをコントロールしながら、スティルからキャラクターアイデンティティを保持します。

このRunComfy対応のグラフは、ComfyUI内でスタジオスタイルのモーション転送を望むクリエイターに最適です。ポートレートまたはフルボディのリファレンスを提供し、短いドライビングビデオを投入し、2つの簡潔なプロンプトを設定すると、Wan Animate 2 ComfyUIがクリーンでプロンプト駆動のシナリーと共にアイデンティティに忠実なキャラクターパフォーマンスを生成します。

Comfyui Wan Animate 2 ComfyUIワークフローの主要モデル#

• Wan-Animate-2コアウェイト。ドライビングクリップからアイデンティティを意識したモーション転送を行い、新しいフレームを生成する拡散トランスフォーマー。ソースとウェイト：Wan-Animate-2 GitHubとComfy-Org/Wan-Animate-2。
• LightX2V I2V 14B 480p蒸留LoRA。効率的な画像からビデオ生成とモーションコンディショニングのためにWan-Videoバックボーンを整合させる軽量アダプタ。ファイル：lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors at Hugging Face。
• uMT5-XXLテキストエンコーダー。キャラクターの外見、背景、スタイルを駆動するために、あなたのポジティブおよびネガティブプロンプトを解釈します。ファイル：umt5_xxl_fp8_e4m3fn_scaled.safetensors at Hugging Face。
• CLIP ViT-H/14ビジョンエンコーダー。リファレンスイメージから外観の特徴を抽出し、ポーズフレームから補完的なキューを取得して、堅牢なアイデンティティとモーションガイダンスを提供します。ファイル：clip_vision_h.safetensors at Hugging Face。
• Wan 2.1 VAE。ビデオラテントをエンコードおよびデコードし、細かいテクスチャと色の忠実性を保持します。ファイル：Wan2_1_VAE_bf16.safetensors at Hugging Face。

Comfyui Wan Animate 2 ComfyUIワークフローの使い方#

一目で、ワークフローはリファレンスイメージとドライビングビデオをモーショントランスファーサブグラフにルーティングし、フレームをビデオにデコードし、オプションでサイドバイサイドの比較をステッチします。以下のグループは、各部分がどのように貢献し、何を編集できるかを説明しています。

モデル#

このグループは、コアのWan-Animate-2モデル、そのLoRA、テキストエンコーダー、CLIP-Vision、VAEをロードします。同じリポジトリから代替が必要でない限り、デフォルトのモデル選択を維持してください。UNetとLoRAペアは、モーションの解釈とレンダリング方法を定義し、VAEはラテントエンコード/デコード中の画像の忠実性を制御します。モデルを交換する場合は、リンクされたリポジトリからのWan Animate 2 ComfyUIアセットと互換性があることを確認してください。

プロンプト#

ポジティブプロンプトを使用して、キャラクターの外見と望む背景を説明し、ネガティブプロンプトを使用してアーティファクトを軽く除外します。外見、材料、衣装、照明、セットを説明します。ここで動きを説明しないでください。動きはビデオから来ます。プロンプトを簡潔かつ具体的に保つことで、アイデンティティの保持とフレーム全体の背景の一貫性が向上します。テキストエンコーダーは、生成全体で使用されるコンディショニングにあなたのテキストを変換します。

リファレンスイメージ#

Load Image (Reference Image) (#189)を使用して、キャラクターが中心に配置された単一のクリーンなリファレンスポートレートまたはフルボディスティルをロードします。このスティルの背景は、シーンがプロンプトから生成されるため引き継がれません。グループは、ポーズの特徴とアテンションマップが一致するように、リファレンスを下流で使用される作業解像度に合わせてサイズを変更します。明るく、鮮明で、遮蔽が最小限のリファレンスは、より強いアイデンティティを生み出します。

ポーズリファレンスビデオ#

Load Video (Pose Video) (#240)を使用してドライビングクリップをインポートします。フレームはスケルトンのキーポイントに変換されるのではなく、モデルに直接渡されるため、体重の移動や二次的な動きのニュアンスがよく転送されます。グラフは空間次元を正規化しながら、元のクリップのケイデンスを維持します。つまり、出力fpsはソースに従います。リファレンスと大まかに一致するフレーミングのクリップを選択してください（例えば、フルボディからフルボディ）スケールドリフトを避けるために。

コンテキストウィンドウとキャッシュ#

ContextWindowsManualは、時間的コンテキストを制御し、長い動きがウィンドウ間で一貫性を保つのを助けます。小さなComfySwitchNodeは、コンテキスト拡張が使用されるかどうかを切り替え、メモリを安定性と交換することができます。WanAnimate2Cacheは、長いシーケンスでVRAMスパイクを制御するgpuまたはcpuでアテンションキャッシュを管理します。タイトなGPUの場合、キャッシュをcpuに配置することは実用的な安全策です。

コンディショニング#

WanAnimate2ToVideo (#247)は、Wan Animate 2 ComfyUIの中心です。それは、ポジティブとネガティブのテキストコンディショニングをリファレンスイメージ、CLIP-Visionの特徴、ポーズフレームと組み合わせてビデオラテントのシーケンスを生成します。前のセグメントの最後のフレームをcontinue_motionに渡して、チャンク間の連続性を維持し、チェーンでvideo_frame_offsetを使用してドライビングクリップの読み取りをオフセットできます。ノードはまた、アイデンティティロックとモーションの忠実性のバランスを取るためにreference_image_strengthとpose_strengthを受け入れます。

サンプリング#

SamplerCustomは、ModelSamplingSD3、BasicScheduler、およびLCMサンプラー選択で準備されたモデルを使用してビデオラテントをデノイズします。このステージは速度とテクスチャの安定性を決定します。固定されたシードは、セグメント全体で外観と粒子を一貫して保ち、ランダムなシードはバリエーションを追加します。結果はデコードの準備が整ったラテントビデオクリップです。

重複した最初のフレームをトリムする#

セグメントをチェーンする際、新しいセグメントの最初のフレームが前のセグメントの最後のフレームと重複することがあります。TrimVideoLatentと小さなスイッチパスはそのシームを自動的に除去します。まだ1フレームのひっかかりが見える場合は、新しいチャンクの最初の画像をバッチング時に削除してください。

ビデオの組み立てと比較#

VAEDecodeは、最終ラテントを画像に変換し、それらをバッチしてCreateVideoに送信し、ソースクリップのfpsとオーディオが存在する場合はそれを継承します。SaveVideoは、生成されたアニメーションをディスクに書き込みます。Video Stitchサブグラフ（内部のImageStitch）は、生成されたビデオと元のドライビングビデオを取り、迅速な品質チェックのためにサイドバイサイドの比較を生成し、その結合されたビューを別のファイルとして保存します。

単一のチャンクを超えて拡張する#

各パスは固定された数のフレームを生成するため、より長いショットはMotion Transfer (Wan Animate 2)サブグラフ (#261)を複製することで作成されます。前のパスから次のパスにcontinue_motionを接続し、以前のvideo_frame_offsetを前方に送り、ドライビングクリップの読み取りがシームレスに続くようにします。各パスのimage出力をBatchImagesNode (#289)に接続して、ビデオ作成前にセグメントを連結します。左下のヘルパーマスノードは、ドライビングビデオの長さに基づいて必要なパス数を計算し、小さなプレビューがその数を印刷します。

Comfyui Wan Animate 2 ComfyUIワークフローの主要ノード#

WanAnimate2ToVideo (#247)#

テキストコンディショニング、リファレンスイメージ、CLIP-Visionの特徴、ポーズフレームを組み合わせてビデオラテントを合成します。reference_image_strengthを調整して出力がスティルにどれだけ厳密に従うかを制御し、pose_strengthとpose_start_percent、pose_end_percentを使用してモーションをウィンドウまたは和らげます。lengthはパスごとのフレーム数を設定し、video_frame_offsetはチェーン時にドライビングクリップを進め、continue_motionは前のセグメントの最後のフレームを使用して時間的連続性を固定します。公式リポジトリにリンクされたWan-Animate-2実装とウェイトによって支えられています。

ContextWindowsManual (#257)とComfySwitchNode (#258)#

動きが長いシーケンスでも一貫しているように時間的アテンションウィンドウを拡張します。複雑な動きや時間を超えて詳細が漂うのを見た場合に有効にし、追加のメモリを犠牲にします。メモリ制限に達した場合は、コンテキストウィンドウサイズを無効にするか削減し、チャンク間の連続性に依存してください。

WanAnimate2Cache (#224)#

注意キーと値をキャッシュして、冗長な計算を減らし、メモリ使用量を滑らかにします。キャッシュdeviceをVRAMが厳しいときはcpuに設定し、最大スループットを得るためにgpuに設定し、軽量のdtypeを安定性のために維持します。特に長いショットのために複数のパスをスタックする場合に役立ちます。公式のComfy-Org/Wan-Animate-2リリースで提供されるアセット。

SamplerCustom (#19)とKSamplerSelectおよびBasicScheduler#

ビデオラテント上でデノイジングの軌道を実行します。LCMサンプラーは、インタラクティブな反復に適した高速で高品質なステップを選択します。固定シードを使用して、チェーンされたパス間でテクスチャとシェーディングをロックし、シードを変更してモーションを同一に保ちながら代替を探索します。

TrimVideoLatent (#223)#

セグメントをチェーンする際に現れる可能性のある重複した最初のフレームを削除し、目に見えるシームを排除します。長いシーケンスを構築する際に有効にしておき、単一パスクリップの場合は無効にします。

オプションのエクストラ#

• リファレンスとドライビングビデオの間でフレーミングを一貫して保ちます。フルボディからフルボディ、中ショットから中ショットまでが最適です。
• Wan Animate 2 ComfyUIはモーションのために生のフレームを読み取るため、クリアなシルエットと最小限のモーションブラーを持つドライビングクリップを使用します。
• リファレンスイメージの背景に頼るのではなく、ポジティブプロンプトで背景を説明してください。モデルはテキストから新しい風景を生成します。
• 出力fpsは入力クリップに従います。動きが遅すぎたり速すぎたりする場合は、ワークフローを実行する前にドライビングビデオを再サンプリングしてください。
• メモリの制約があるGPUの場合、WanAnimate2Cacheでキャッシュデバイスをcpuに設定し、後でステッチできる短いチャンクを優先してください。
• Video Stitchサブグラフからのサイドバイサイドの出力を使用して、長いランのレンダリング前にモーションの忠実性を迅速にA/Bテストします。

謝辞#

このワークフローは以下の作品とリソースを実装し、基にしています。Comfy Orgによる「Wan Animate 2がComfyUIで利用可能になりました」というアナウンスとテンプレート、Wan-VideoによるWan-Animate-2json コードベース、Comfy-OrgによるHugging Face上のWan-Animate-2モデルウェイト、およびComfyUIによる「Wan Animate 2: Motion Transfer」ワークフローテンプレートに対する貢献とメンテナンスに感謝の意を表します。公式の詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。

リソース#

• Comfy Org/Wan Animate 2 is now available in ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/Wan-Animate-2
  • Docs / Release Notes: Wan Animate 2 is now available in ComfyUI
• Wan-Video/Wan-Animate-2
  • GitHub: Wan-Video/Wan-Animate-2
  • Hugging Face: Wan-AI/Wan2.2-Animate-2-14B
  • arXiv: 2608.06009
• Comfy-Org/Wan-Animate-2
  • Hugging Face: Comfy-Org/Wan-Animate-2
  • arXiv: 2608.06009
• ComfyUI/Wan Animate 2: Motion Transfer
  • Docs / Release Notes: Wan Animate 2: Motion Transfer - ComfyUI Workflow

Note: Use of the referenced models, datasets, and code is subject to the respective licenses and terms provided by their authors and maintainers.