Wan2.2 アニメーション: ComfyUI におけるフルモーション参照からビデオアニメーション
Wan2.2 アニメーションは、単一の参照画像を生命感あふれるパフォーマンスに変え、ドライビングビデオの全身の動きと表情に従います。この ComfyUI Wan2.2 アニメーションワークフローは、ポーズ転送、顔のモーションキャプチャ、背景制御、LoRA アドオンを融合させ、キャラクターが自然に動きつつアイデンティティを保持します。
アバター、パフォーマンス再現、ミュージックビデオ、ストーリービート用に設計された Wan2.2 アニメーションは、オーディオパススルー、品質のアップスケーリング、補間をオプションで提供し、クリーンで時間的に安定したクリップを生成します。ガイド付きグラフとして出荷され、創造的な選択に集中できるようにしています。
Comfyui Wan2.2 アニメーションワークフローの主要モデル
- Wan 2.2 アニメーション 14B (I2V) fp8 スケール。ポーズ、顔、画像、テキストガイダンスを解釈し、アイデンティティを保持したモーショントラックを合成するコアビデオモデル。Model set
- Wan 2.1 VAE bf16。Wan ファミリーの遅延をエンコード/デコードするために使用されるマッチングVAEで、色忠実度とシャープネスを保証します。VAE
- UMT5-XXL テキストエンコーダー。ポジティブおよびネガティブプロンプトに対するロバストな多言語テキストコンディショニングを提供します。Encoder
- CLIP ViT-H/14 ビジョンエンコーダー。参照画像からビジュアル埋め込みを抽出し、アイデンティティとスタイルを保持します。Paper
- オプションの Wan LoRAs。ライトニングおよび I2V 行動制御用の軽量アダプター、例えば Lightx2v I2V 14B と Relight。Lightx2v • Relight
- Segment Anything 2 (SAM 2)。被写体または背景を分離するために使用される高品質の画像/ビデオセグメンテーション。Paper
- DWPose。顔/ポーズに対応したクロップおよびマスクのために使用される正確な2Dポーズ推定。Repo
- RIFE。再生の滑らかさを向上させる高速ビデオフレーム補間。Paper
Comfyui Wan2.2 アニメーションワークフローの使用方法
全体の流れ。グラフはドライビングビデオと単一の参照画像を取り込み、クリーンな被写体/背景と顔に対応したクロップを準備し、ポーズ、顔、画像、テキストの埋め込みを Wan2.2 アニメーションに供給してサンプリングとデコードを行います。最終段階で詳細をアップスケールし、フレームをオプションで補間してからエクスポートします。
- モデル
- このグループは Wan2.2 アニメーションベース、マッチングVAE、テキスト/ビジョンエンコーダー、および選択された LoRAs をロードします。
WanVideoModelLoader(#22) とWanVideoSetLoRAs(#48) はモデルとアダプターを接続し、WanVideoVAELoader(#38) とCLIPLoader(#175) は VAE とテキストのバックボーンを提供します。 - LoRAs を調整する予定がある場合（例：リライトや I2V スタイル）、競合を避けるために一度に1つまたは2つだけアクティブにし、提供されているコラージュノードでプレビューします。
- このグループは Wan2.2 アニメーションベース、マッチングVAE、テキスト/ビジョンエンコーダー、および選択された LoRAs をロードします。
サイズ
- サイズグループでターゲットの
widthとheightを設定し、ドライビングビデオからロードする予定のフレームがframe_countと一致していることを確認します。VHS_LoadVideo(#63) がカウントを報告します; サンプラーのnum_framesを一貫して保持してテールトランケーションを避けます。 PixelPerfectResolution(#152) ヘルパーはドライビングクリップを読み取り、安定した生成サイズを提案します。
背景マスキング
- ドライビングビデオを
VHS_LoadVideo(#63) にロードします; オーディオは自動的に抽出され、後でパススルーされます。PointsEditor(#107) を使用して被写体にいくつかの肯定的なポイントを配置し、Sam2Segmentation(#104) を実行してクリーンなマスクを生成します。 GrowMask(#100) とBlockifyMask(#108) はエッジを安定させて拡大し、DrawMaskOnImage(#99) はクイックチェックを提供します。このマスクにより Wan2.2 アニメーションはパフォーマーに焦点を当てつつ、元の背景を尊重します。
参照画像
- 単一の明るいポートレートまたは全身の静止画像をドロップします。
ImageResizeKJv2(#64) は作業解像度に一致させ、出力はアニメーション段階で保存されます。 - 最良のアイデンティティ保持のために、顔がはっきりしており、遮蔽が最小限の参照画像を選択してください。
顔画像
- パイプラインは顔に対応したクロップを構築し、微細な表情を駆動します。
DWPreprocessor(#177) はポーズのキーポイントを見つけ、FaceMaskFromPoseKeypoints(#120) は顔の領域を分離し、ImageCropByMaskAndResize(#96) は整列した顔のクロップを生成します。クイックQA用に小さなプレビューエクスポーターが含まれています（VHS_VideoCombine(#112)）。
サンプリングとデコード
- 参照画像は
WanVideoClipVisionEncode(#70) を通じて埋め込まれ、プロンプトはCLIPTextEncode(#172, #182, #183) でエンコードされ、すべてがWanVideoAnimateEmbeds(#62) で融合されます。 WanVideoSampler(#27) は Wan2.2 アニメーションのコア拡散を実行します。「コンテキストウィンドウ」モードで非常に長いクリップを作業するか、元の長い生成パスを使用することができます; 含まれているノートは、安定性のためにコンテキストウィンドウをフレームカウントに一致させるときの説明を提供します。サンプラーの出力はWanVideoDecode(#28) によってデコードされ、オプションのオーディオパススルーで保存されます（VHS_VideoCombine(#30)）。
結果コラージュ
ImageConcatMulti(#77, #66) とGetImageSizeAndCount(#42) は参照、顔、ポーズ、出力のサイドバイサイドパネルを組み立てます。最終エクスポート前にアイデンティティと動作の整合性をスポットチェックするために使用します。
アップスケールと補間
UltimateSDUpscaleNoUpscale(#180) は提供された UNet (UNETLoader(#181)) と VAE (VAELoader(#184)) でエッジとテクスチャを洗練し、ポジティブ/ネガティブプロンプトが詳細を穏やかに誘導します。RIFEInterpolation(#188) はオプションで動作の滑らかさを倍増させ、VHS_VideoCombine(#189) は最終的な Wan2.2 アニメーションクリップを書き込みます。
Comfyui Wan2.2 アニメーションワークフローの主要ノード
VHS_LoadVideo(#63)- 役割。ドライビングビデオをロードし、フレームを出力し、オーディオを抽出し、下流の一貫性のためにフレームカウントを報告します。
- ヒント。サンプラーの生成長と報告されるフレーム合計を一致させ、早期カットオフや黒フレームを防ぎます。
Sam2Segmentation(#104) +PointsEditor(#107)- 役割。パフォーマーに焦点を当て、背景の絡まりを避けるためのインタラクティブな被写体マスキング。
- ヒント。いくつかの適切に配置された肯定的なポイントと控えめな
GrowMaskは、ハロー効果なしで複雑な背景を安定させる傾向があります。動画に対応したセグメンテーションガイダンスについては SAM 2 を参照してください。Paper
DWPreprocessor(#177) +FaceMaskFromPoseKeypoints(#120)- 役割。検出されたキーポイントからロバストな顔マスクと整列したクロップを導出し、唇、目、顎の忠実度を向上させます。
- ヒント。表情が抑制されているように見える場合は、顔マスクが完全な顎のラインと頬をカバーしていることを確認し、ポイントを調整した後にクロップを再実行します。Repo
WanVideoModelLoader(#22) とWanVideoSetLoRAs(#48)WanVideoAnimateEmbeds(#62) とWanVideoSampler(#27)- 役割。画像、顔、ポーズ、テキストのコンディショニングをビデオ遅延に融合し、Wan2.2 アニメーションでシーケンスをサンプリングします。
- ヒント。非常に長いクリップの場合は、コンテキストウィンドウモードに切り替え、その長さを意図したフレームカウントと同期させて、時間的一貫性を保ちます。Wrapper repo
UltimateSDUpscaleNoUpscale(#180)- 役割。タイルサポートを備えたデコード後の軽量ディテールパスでメモリを安定させます。
- ヒント。タイルの継ぎ目が見える場合、重なりを控えめに増やし、プロンプトの誘導を非常にソフトに保って、オフモデルテクスチャを避けます。KJNodes
RIFEInterpolation(#188)- 役割。再レンダリングせずにクリップの間にフレームを挿入して動きを滑らかにします。
- ヒント。アップスケール後に補間を適用し、オプティカルフローが最終的なディテールプロファイルを確認できるようにします。Paper
オプションの追加機能
- 最もクリーンなアイデンティティのために、シャープで正面を向いた参照を選択し、アクセサリーをドライビングビデオと一致させます。
- 背景のちらつきが発生した場合、SAM 2 マスクを改良し、再実行します; マスキングはシーンリーケージの最速の修正方法です。
- 幅と高さをターゲットプラットフォームと入力のアスペクト比に合わせて整列させます; Wan2.2 アニメーションでは、16の倍数であるスクエアピクセルがうまく機能します。
- ドライビングビデオからのオーディオはエクスポート時にパススルーできます; サイレンスを好む場合は、セーブノードでオーディオを無効にします。
- 1つの LoRA から始めます; リライトと I2V を一緒に追加する場合は、それぞれを個別にテストしてその影響を理解します。
役立つリンク:
- KijaiによるWan2.2 アニメーションモデルとアセット: WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
- 使用されたComfyUIラッパーとノード: [ComfyUI‑json
KJNodes](https://github.com/Kijai/ComfyUI-KJNodes)
Acknowledgements
このワークフローは、以下の作業とリソースを実装および構築しています。Wan2.2 および @ArtOfficialLabs による Wan2.2 アニメーションデモの貢献とメンテナンスに深く感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
Resources
- Wan2.2/Wan2.2 アニメーションデモ
- ドキュメント / リリースノート: Wan2.2 アニメーションデモ @ArtOfficialLabs
注意: 参照されているモデル、データセット、およびコードの使用は、それぞれの著者および管理者によって提供されるライセンスおよび条件に従います。
