Wan2.2 アニメーション | 写真からリアルなモーションビデオへ

Wan2.2 アニメーション: ComfyUI におけるフルモーション参照からビデオアニメーション

Wan2.2 アニメーションは、単一の参照画像を生命感あふれるパフォーマンスに変え、ドライビングビデオの全身の動きと表情に従います。この ComfyUI Wan2.2 アニメーションワークフローは、ポーズ転送、顔のモーションキャプチャ、背景制御、LoRA アドオンを融合させ、キャラクターが自然に動きつつアイデンティティを保持します。

アバター、パフォーマンス再現、ミュージックビデオ、ストーリービート用に設計された Wan2.2 アニメーションは、オーディオパススルー、品質のアップスケーリング、補間をオプションで提供し、クリーンで時間的に安定したクリップを生成します。ガイド付きグラフとして出荷され、創造的な選択に集中できるようにしています。

Comfyui Wan2.2 アニメーションワークフローの主要モデル

• Wan 2.2 アニメーション 14B (I2V) fp8 スケール。ポーズ、顔、画像、テキストガイダンスを解釈し、アイデンティティを保持したモーショントラックを合成するコアビデオモデル。Model set
• Wan 2.1 VAE bf16。Wan ファミリーの遅延をエンコード/デコードするために使用されるマッチングVAEで、色忠実度とシャープネスを保証します。VAE
• UMT5-XXL テキストエンコーダー。ポジティブおよびネガティブプロンプトに対するロバストな多言語テキストコンディショニングを提供します。Encoder
• CLIP ViT-H/14 ビジョンエンコーダー。参照画像からビジュアル埋め込みを抽出し、アイデンティティとスタイルを保持します。Paper
• オプションの Wan LoRAs。ライトニングおよび I2V 行動制御用の軽量アダプター、例えば Lightx2v I2V 14B と Relight。Lightx2v • Relight
• Segment Anything 2 (SAM 2)。被写体または背景を分離するために使用される高品質の画像/ビデオセグメンテーション。Paper
• DWPose。顔/ポーズに対応したクロップおよびマスクのために使用される正確な2Dポーズ推定。Repo
• RIFE。再生の滑らかさを向上させる高速ビデオフレーム補間。Paper

Comfyui Wan2.2 アニメーションワークフローの使用方法

全体の流れ。グラフはドライビングビデオと単一の参照画像を取り込み、クリーンな被写体/背景と顔に対応したクロップを準備し、ポーズ、顔、画像、テキストの埋め込みを Wan2.2 アニメーションに供給してサンプリングとデコードを行います。最終段階で詳細をアップスケールし、フレームをオプションで補間してからエクスポートします。

• モデル
  • このグループは Wan2.2 アニメーションベース、マッチングVAE、テキスト/ビジョンエンコーダー、および選択された LoRAs をロードします。WanVideoModelLoader (#22) と WanVideoSetLoRAs (#48) はモデルとアダプターを接続し、WanVideoVAELoader (#38) と CLIPLoader (#175) は VAE とテキストのバックボーンを提供します。
  • LoRAs を調整する予定がある場合（例：リライトや I2V スタイル）、競合を避けるために一度に1つまたは2つだけアクティブにし、提供されているコラージュノードでプレビューします。

サイズ

• サイズグループでターゲットの width と height を設定し、ドライビングビデオからロードする予定のフレームが frame_count と一致していることを確認します。VHS_LoadVideo (#63) がカウントを報告します; サンプラーの num_frames を一貫して保持してテールトランケーションを避けます。
• PixelPerfectResolution (#152) ヘルパーはドライビングクリップを読み取り、安定した生成サイズを提案します。

背景マスキング

• ドライビングビデオを VHS_LoadVideo (#63) にロードします; オーディオは自動的に抽出され、後でパススルーされます。PointsEditor (#107) を使用して被写体にいくつかの肯定的なポイントを配置し、Sam2Segmentation (#104) を実行してクリーンなマスクを生成します。
• GrowMask (#100) と BlockifyMask (#108) はエッジを安定させて拡大し、DrawMaskOnImage (#99) はクイックチェックを提供します。このマスクにより Wan2.2 アニメーションはパフォーマーに焦点を当てつつ、元の背景を尊重します。

参照画像

• 単一の明るいポートレートまたは全身の静止画像をドロップします。ImageResizeKJv2 (#64) は作業解像度に一致させ、出力はアニメーション段階で保存されます。
• 最良のアイデンティティ保持のために、顔がはっきりしており、遮蔽が最小限の参照画像を選択してください。

顔画像

• パイプラインは顔に対応したクロップを構築し、微細な表情を駆動します。DWPreprocessor (#177) はポーズのキーポイントを見つけ、FaceMaskFromPoseKeypoints (#120) は顔の領域を分離し、ImageCropByMaskAndResize (#96) は整列した顔のクロップを生成します。クイックQA用に小さなプレビューエクスポーターが含まれています（VHS_VideoCombine (#112)）。

サンプリングとデコード

• 参照画像は WanVideoClipVisionEncode (#70) を通じて埋め込まれ、プロンプトは CLIPTextEncode (#172, #182, #183) でエンコードされ、すべてが WanVideoAnimateEmbeds (#62) で融合されます。
• WanVideoSampler (#27) は Wan2.2 アニメーションのコア拡散を実行します。「コンテキストウィンドウ」モードで非常に長いクリップを作業するか、元の長い生成パスを使用することができます; 含まれているノートは、安定性のためにコンテキストウィンドウをフレームカウントに一致させるときの説明を提供します。サンプラーの出力は WanVideoDecode (#28) によってデコードされ、オプションのオーディオパススルーで保存されます（VHS_VideoCombine (#30)）。

結果コラージュ

• ImageConcatMulti (#77, #66) と GetImageSizeAndCount (#42) は参照、顔、ポーズ、出力のサイドバイサイドパネルを組み立てます。最終エクスポート前にアイデンティティと動作の整合性をスポットチェックするために使用します。

アップスケールと補間

• UltimateSDUpscaleNoUpscale (#180) は提供された UNet (UNETLoader (#181)) と VAE (VAELoader (#184)) でエッジとテクスチャを洗練し、ポジティブ/ネガティブプロンプトが詳細を穏やかに誘導します。
• RIFEInterpolation (#188) はオプションで動作の滑らかさを倍増させ、VHS_VideoCombine (#189) は最終的な Wan2.2 アニメーションクリップを書き込みます。

Comfyui Wan2.2 アニメーションワークフローの主要ノード

• VHS_LoadVideo (#63)

  • 役割。ドライビングビデオをロードし、フレームを出力し、オーディオを抽出し、下流の一貫性のためにフレームカウントを報告します。
  • ヒント。サンプラーの生成長と報告されるフレーム合計を一致させ、早期カットオフや黒フレームを防ぎます。

• Sam2Segmentation (#104) + PointsEditor (#107)

  • 役割。パフォーマーに焦点を当て、背景の絡まりを避けるためのインタラクティブな被写体マスキング。
  • ヒント。いくつかの適切に配置された肯定的なポイントと控えめな GrowMask は、ハロー効果なしで複雑な背景を安定させる傾向があります。動画に対応したセグメンテーションガイダンスについては SAM 2 を参照してください。Paper

• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)

  • 役割。検出されたキーポイントからロバストな顔マスクと整列したクロップを導出し、唇、目、顎の忠実度を向上させます。
  • ヒント。表情が抑制されているように見える場合は、顔マスクが完全な顎のラインと頬をカバーしていることを確認し、ポイントを調整した後にクロップを再実行します。Repo

• WanVideoModelLoader (#22) と WanVideoSetLoRAs (#48)

  • 役割。Wan2.2 アニメーションをロードし、リライティングまたは I2V バイアス用のオプションの LoRAs を適用します。
  • ヒント。ライティングや動作アーティファクトを診断するとき、一度に1つの LoRA をアクティブにし、オーバーコンストレインを避けるために慎重に積み重ねます。Models • LoRAs

• WanVideoAnimateEmbeds (#62) と WanVideoSampler (#27)

  • 役割。画像、顔、ポーズ、テキストのコンディショニングをビデオ遅延に融合し、Wan2.2 アニメーションでシーケンスをサンプリングします。
  • ヒント。非常に長いクリップの場合は、コンテキストウィンドウモードに切り替え、その長さを意図したフレームカウントと同期させて、時間的一貫性を保ちます。Wrapper repo

• UltimateSDUpscaleNoUpscale (#180)

  • 役割。タイルサポートを備えたデコード後の軽量ディテールパスでメモリを安定させます。
  • ヒント。タイルの継ぎ目が見える場合、重なりを控えめに増やし、プロンプトの誘導を非常にソフトに保って、オフモデルテクスチャを避けます。KJNodes

• RIFEInterpolation (#188)

  • 役割。再レンダリングせずにクリップの間にフレームを挿入して動きを滑らかにします。
  • ヒント。アップスケール後に補間を適用し、オプティカルフローが最終的なディテールプロファイルを確認できるようにします。Paper

オプションの追加機能

• 最もクリーンなアイデンティティのために、シャープで正面を向いた参照を選択し、アクセサリーをドライビングビデオと一致させます。
• 背景のちらつきが発生した場合、SAM 2 マスクを改良し、再実行します; マスキングはシーンリーケージの最速の修正方法です。
• 幅と高さをターゲットプラットフォームと入力のアスペクト比に合わせて整列させます; Wan2.2 アニメーションでは、16の倍数であるスクエアピクセルがうまく機能します。
• ドライビングビデオからのオーディオはエクスポート時にパススルーできます; サイレンスを好む場合は、セーブノードでオーディオを無効にします。
• 1つの LoRA から始めます; リライトと I2V を一緒に追加する場合は、それぞれを個別にテストしてその影響を理解します。

役立つリンク:

• KijaiによるWan2.2 アニメーションモデルとアセット: WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• 使用されたComfyUIラッパーとノード: ComfyUI‑json KJNodes

Acknowledgements

このワークフローは、以下の作業とリソースを実装および構築しています。Wan2.2 および @ArtOfficialLabs による Wan2.2 アニメーションデモの貢献とメンテナンスに深く感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。

Resources

• Wan2.2/Wan2.2 アニメーションデモ
  • ドキュメント / リリースノート: Wan2.2 アニメーションデモ @ArtOfficialLabs

注意: 参照されているモデル、データセット、およびコードの使用は、それぞれの著者および管理者によって提供されるライセンスおよび条件に従います。