キャラクター & ポーズ & 背景交換 V3 — Wan2.2 Animateビデオキャラクタースワップ、ポーズ転送、背景制御#
このComfyUIワークフローは、ソースモーションクリップと単一の参照画像を新しいビデオに変換し、キャラクターのアイデンティティ、ポーズ、背景をすべてあなたのコントロール下に置きます。キャラクター & ポーズ & 背景交換 V3は、サブジェクトを交換し、体および顔の動作を転送し、シーンをオプションで交換またはブレンドする際に、ソースモーション構造を安定させます。
迅速でガイドされたパイプラインを必要とするクリエイター向けに設計されており、Wan2.2 AnimateとSAM 3.1セグメンテーション、SDPoseを組み合わせて強力な人物マスキングとポーズガイダンスを提供します。キャラクター交換、ポーズ転送アニメーション、または1つのキャンバスでの完全なシーンリフレッシュに使用し、実用的なトグルとプレビューを提供します。
ComfyUIキャラクター & ポーズ & 背景交換 V3ワークフローの主要モデル#
- Wan2.2 Animate 14B。画像、ポーズ、テキストガイダンスから最終フレームをレンダリングする生成ビデオバックボーン。スタイルまたは再ライティング制御のために画像コンディショニングとLoRAアダプターをサポートします。 Model card
- SAM 3.1。フレームまたは参照画像から人物マスクを抽出または洗練するために使用される高品質のセグメンテーションモデルで、クリーンな合成とインペイントを駆動します。 Checkpoints
- SDPose。精密なポーズマップと顔のクロップを作成し、モーションと表情の転送を誘導する全身キーポイント抽出および描画ツールキット。RT-DETR検出ウェイトも提供され、このグラフで使用されます。 Repository
- ViTPose-L WholeBody ONNX。密な体、手、顔のランドマークのためにプリプロセスノードによって使用される強力なマルチパーソンキーポイントエスティメーター。 Checkpoint
ComfyUIキャラクター & ポーズ & 背景交換 V3ワークフローの使用方法#
ワークフローには3つの柱があります: ガイダンスビルディング、背景制御、レンダリング。ガイダンスは、アイデンティティスチルプラス、モーションクリップから抽出されたポーズと顔の信号から得られます。背景制御は3つの交換可能なモードを提供します。レンダリングは、オプションのLoRAを使用してWan2.2 Animateを使用し、すぐに共有できるビデオをエクスポートします。
画像の読み込み#
Image loadグループにあなたのアイデンティティまたはターゲットキャラクター画像をロードします。モデルのためにサイズ変更され、クイックチェックのためにプレビューされます。この画像は、キャラクター & ポーズ & 背景交換 V3の外観を設定し、モーションはソースクリップから取得されます。画像にクリーンサブジェクトがある場合、結果はアイデンティティをより確実に追跡します。
ビデオの読み込み#
VHS_LoadVideo (#63)を使用してVideo loadグループにモーションソースをインポートします。ノードは、ダウンストリームスケジューリングのためのフレームレートと総フレーム数を公開し、レンダラーが生成するフレーム数を決定します。オーディオは提供された場合、最終エクスポートに渡されます。短いプレビューが必要な場合、ファイルウィジェットを使用してトリムまたはサブサンプルします。
顔とポーズゾーン#
Face & pose zoneは、2つの主要なガイダンスストリームを構築します。人物と顔を検出し、SDPoseKeypointExtractor (#690)を使用して全身キーポイントを抽出し、SDPoseDrawKeypoints (#688)を介してクリーンなコントロール画像に描画します。RTDETR_detect (#771)のようなヘルパーデテクターとプリプロセスローダーは、体と顔のための堅牢なボックスを提供します。マルチパーソンショットの場合、「マルチパーソン検出」コントロールと「検出ソース」スイッチを切り替えて、ポーズをソースまたは背景交換ブランチで検出するかを選択します。
SAM 3.1マスクと精製#
Sam3.1マスクグループは、SAM3_Detect (#753)を使用してサブジェクトマスクを作成します。CLIPTextEncode (#754)を介してテキストでガイドし、PointsEditor (#758)を使用してクリックで選択を微調整できます。その後、2つの精製者がマットをプロダクションレディにします: GrowMaskWithBlur (#502)はエッジを柔らかく拡大およびフェザーし、BlockifyMask (#401)はギザギザの輪郭を避けるためにブロック境界を均一にします。ライブオーバーレイプレビュー(DrawMaskOnImage (#391))がレンダリング前にカットアウトを確認するのに役立ちます。
背景交換ゾーン#
以下のことができます:
- オリジナルのシーンを維持します。
LoadImage(#785)を使用して静止写真で置き換えます。VHS_LoadVideo(#790)を使用して動的ビデオで置き換えます。
単純なトグルが動作を選択し、選択したブランチはモーションフレームに合わせてサイズ変更され、人物マスクと合成されます。フラットカラーのステージルックが必要な場合、グリーンスクリーンサブグループはフレーム全体で安定したソリッドな背景を提供します。
Uni3Cモーションオプション#
追加のカメラドリフトやモーションスムージングが必要なショットのために、Uni3Cグループはコントロールモデルをロードし、リサイズされたソースクリップをWanVideoUni3C_ControlnetLoader (#538)とWanVideoUni3C_embeds (#546)を使用してモーション埋め込みに変換します。強度のコントロールと開始または終了のスケジューリングにより、シーケンス全体で効果をフェードインまたはアウトさせることができます。
キャラクター交換 - 埋め込みステージ#
WanVideoAnimateEmbeds (#62)は、キャラクター交換パスのためにすべてを融合します: VAE、CLIP-Vision画像特徴、あなたのアイデンティティ画像、SDPoseポーズマップ、オプションの顔クロップ、人物マスク、オプションの背景ガイド。幅、高さ、フレーム数はビデオから継承されるため、モーションの整合性が保たれます。このモードは、新しいサブジェクトが元の俳優のように動くことを望む場合に使用します。
モーショントランスファー - 埋め込みステージ#
2番目のWanVideoAnimateEmbeds (#904)は、背景とマスキングを放棄し、ポーズと表情を画像サブジェクトに適用するだけで良い場合のモーショントランスファーファーストパスを提供します。一度に1つの埋め込みステージのみがアクティブであるべきです。目的に合ったモードを選択し、上流のAny-Switchが選択された埋め込みを前方にルートします。
サンプリングゾーンとLoRAコントロール#
WanVideoSamplerSettings (#530)は、Wan2.2モデル、選択された画像埋め込み、オプションのテキスト埋め込み、Uni3Cモーション埋め込み、あなたのシードをまとめます。WanVideoLoraSelectMulti (#467)でLoRAスタックを選択し、WanVideoSetLoRAs (#48)で適用し、リライト、スタイル、または安定化に役立てます。WanVideoSamplerFromSettings (#531)が潜在ビデオを生成し、WanVideoDecode (#28)がフレームに変換します。
プレビューとエクスポート#
プレビューゾーンは、中間フレームを再生してチェックを行い、VHS_VideoCombine (#312)が選択したフレームレートで最終クリップを書き込み、オプションでオーディオをパススルーします。ファイル名プレフィックスマクロはすでに構成されているため、各レンダーはタイムスタンプ付きです。
ComfyUIキャラクター & ポーズ & 背景交換 V3ワークフローの主要ノード#
WanVideoAnimateEmbeds (#62, #904) これはWan2.2 Animateのガイダンスアセンブリの心臓部です docs。外観、ポーズ、マスク、オプションの背景を単一の画像埋め込みストリームにマージし、ビデオに合わせたサイズにします。重要なものだけを調整: pose_strengthを増やしてソースモーションにより近くロックするか、face_strengthを上げてアイデンティティとリップエリアをより厳密に追跡するようにします。num_framesとビデオローダーのフレームカウントを整合させてトランケーションを避けます。
SAM3_Detect (#753) SAM 3.1を使用して人物マットを生成します checkpoints。衣服が背景に溶け込む場合、プロンプトコンディショニングまたはポイントクリックを使用します。マットがノイズの場合、検出ツールからのバウンディングボックスで選択範囲を減らしてから精製します。
GrowMaskWithBlur (#502)とBlockifyMask (#401) これらはKJNodesからのもので、クリーンな合成のためのマスクを準備します。成長とぼかしは、背景交換後のエッジの縫い目を隠し、ブロック化はサブジェクトの輪郭の階段状のアーティファクトを避けます。慎重に調整し、頻繁にプレビューします。
WanVideoLoraSelectMulti (#467)とWanVideoSetLoRAs (#48) これらのノードは、Wan2.2 Animateの内部にLoRAアダプターをアタッチします wrapper。リライト、報酬、またはモーションの感触の調整に使用します。cfgとサンプラーのステップで強度をバランスよく保ち、LoRAが指導することで過剰にならないようにします。
WanVideoUni3C_ControlnetLoader (#538)とWanVideoUni3C_embeds (#546) 同じサンプラー内でカメラとモーションのリターゲティングを提供します docs。強度と開始または終了のスケジューリングを使用して効果をブレンドします。非常にタイトなトラッキングショットの場合、強度を低く設定してサブジェクトの動きを優先させます。
VHS_VideoCombine (#312) Video Helper Suiteからのものです repo。フレームを最終ビデオに組み立て、ソースからオーディオをマルチプレックスできます。ここでのフレームレートをローダーの強制レートに一致させて1:1のタイミングを確保します。
オプションのエクストラ#
- 高解像度または長いクリップでメモリプレッシャーを感じた場合、エンコードまたはデコードノードでVAEタイルを有効にし、サンプラー設定でコンテキストサイズを下げます。
- サブジェクトのエッジがギザギザに見える場合、マスクの成長を少し増やし、再レンダリング前にブロックサイズを調整します。
- 置換後に色や露出がドリフトした場合、CFGを上げる代わりに控えめな強度でリライトLoRAを試してみてください。
- 忙しいシーンでは、まずソースブランチでポーズを検出し、その後マスクが信頼できるようになったら置換ブランチに検出を切り替えます。
- 長いレンダーを安定させるために、マスクとLoRAを繰り返し調整する間は固定された
seedを保持し、外観が確定したらランダム化します。
このワークフローはWan2.2 Animateとそのプリプロセスコンパニオンを中心に構築されており、さらなる読み物としての公式リファレンスを提供しています: Wan2.2 Animate、ComfyUI-WanVideoWrapper、ComfyUI-WanAnimatePreprocess、SAM 3.1、SDPose、およびKJNodes。
謝辞#
このワークフローは、次の作品とリソースを実装し、構築しています。ワークフローリファレンスのためにRunningHubに感謝し、Wan2.2-Animate-14BモデルのためにWan-AIに、ComfyUI WanVideoWrapperとWanAnimatePreprocessノjson ードのためにkijaiに、SAM3.1およびSDPoseモデルのためにComfy-Orgにそれぞれ感謝します。詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
- ドキュメント / リリースノート: Workflow post
- Wan-AI/Wan2.2-Animate-14B
- GitHub: Wan-Video/Wan2.2
- Hugging Face: Wan-AI/Wan2.2-Animate-14B
- arXiv: 2503.20314
- kijai/ComfyUI-WanVideoWrapper
- GitHub: kijai/ComfyUI-WanVideoWrapper
- kijai/ComfyUI-WanAnimatePreprocess
- Comfy-Org/sam3.1
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- Comfy-Org/SDPose
- Hugging Face: Comfy-Org/SDPose
注: 参照されたモデル、データセット、およびコードの使用は、各著者およびメンテナーによって提供されたライセンスおよび条件に従います。