カメラ上の任意のスピーカーを、オリジナルの音声に合わせてモーション、表情、口の形を整えながら自分のキャラクターに交換します。このComfyUIワークフローは、Wan 2.2 Animate: Swap Characters & Lip-Syncを中心に構築されており、入力ビデオからのボディポーズと顔フレームを検出し、それらを単一の参照画像にリターゲットし、一貫したスピーチ同期の結果をレンダリングします。
このワークフローは、インタビュー、リール、VTubing、スライド、または吹き替えショートのために信頼できるキャラクター交換を望む編集者、クリエイター、研究者に適しています。ソースクリップと1つのクリーンな参照画像を提供してください。パイプラインは、新しいキャラクターにポーズとリップの表示を再現し、オリジナルのサウンドトラックを最終出力にミックスします。
グラフは7つのグループを通過します: 入力をロードし、参照を構築し、ポーズ/顔とマスクを前処理し、生成モデルをロードし、キャラクター交換を実行し、診断をプレビューし、オーディオと共にエクスポートします。
VHS_LoadVideo (#63)を使用してソースクリップをインポートします。このノードはリサイズ用のオプションの幅/高さを公開し、下流で使用するためのビデオフレーム、オーディオ、およびフレーム数を出力します。処理を高速化したい場合は、クリップを話している部分の近くでトリミングしてください。オーディオはエクスポーターに渡され、最終ビデオがオリジナルのサウンドトラックと一致するようにします。
ターゲットキャラクターの単一のクリーンなポートレートを提供します。画像はImageResizeKJv2 (#64)で作業解像度に合わせてリサイズされ、CLIP Visionとジェネレーターで使用される標準の参照として保存されます。ソースショットに似た照明の下でシャープで正面向きの画像を選ぶことで、色とシェーディングのドリフトを減らします。
OnnxDetectionModelLoader (#178)がYOLOとViTPoseをロードし、PoseAndFaceDetection (#172)が各フレームを分析してフルボディのキーポイントとフレームごとの顔のクロップを生成します。Sam2Segmentation (#104)は、検出されたバウンディングボックスまたはキーフレームポイントを使用して前景マスクを作成します。1つのヒントが失敗した場合は、別のヒントに切り替えてより良い分離を得ます。マスクはGrowMaskWithBlur (#182)で洗練され、BlockifyMask (#108)でブロック化されて、ジェネレーターに安定した明確な被写体領域を提供します。オーバーレイオプション (DrawViTPose (#173)とDrawMaskOnImage (#99)) で、生成前にポーズカバレッジとマスク品質を視覚的に確認できます。
WanVideoModelLoader (#22)がWan 2.2 Animate 14Bをロードし、WanVideoVAELoader (#38)がVAEを提供します。リファレンスポートレートからのアイデンティティ特徴はCLIPVisionLoader (#71)とWanVideoClipVisionEncode (#70)によってエンコードされます。スタイルと安定性はWanVideoLoraSelectMulti (#171)で調整され、WanVideoSetLoRAs (#48)とWanVideoSetBlockSwap (#50)がLoRAsとブロックスワップ設定をモデルに適用します。これらのツールはWanラッパーライブラリから来ています。実装の詳細はComfyUI‑WanVideoWrapperを参照してください。
WanVideoTextEncodeCached (#65)は、外観やショットのムードを調整したい場合に短い記述プロンプトを受け入れます。WanVideoAnimateEmbeds (#62)は、リファレンス画像、フレームごとのポーズ、顔のクロップ、背景、マスクを統合し、アイデンティティを保持しながらモーションと口の形を一致させる画像埋め込みを作成します。WanVideoSampler (#27)はフレームをレンダリングします; そのスケジューラーとステップはシャープネスとモーションのトレードオフを制御します。WanVideoDecode (#28)からデコードされたフレームは、エクスポート前にサイズとカウントを確認するためのインスペクターに渡されます。
迅速な品質確認のために、ワークフローはImageConcatMulti (#77, #66)を使用して主要な入力を連結し、リファレンス、顔のクロップ、ポーズの可視化、および生のフレームのシンプルな比較ストリップを形成します。テスト通過後すぐにアイデンティティの手がかりと口の形を確認するために使用してください。
VHS_VideoCombine (#30)は最終ビデオを生成し、オリジナルのオーディオをミックスしてタイミングを完璧に保ちます。追加のエクスポーターが含まれているため、中間の診断や別のカットを保存することもできます。長いクリップで最良の結果を得るには、まず短いテストをエクスポートし、LoRAミックスとマスクを繰り返し調整してからフルレンダリングにコミットします。
VHS_LoadVideo (#63)
フレームとオリジナルのオーディオを一度にロードします。GPUの予算に合った作業解像度を設定し、下流ノードが消費するフレーム数を確認するために使用します。ComfyUI‑VideoHelperSuiteから。
PoseAndFaceDetection (#172)
YOLOとViTPoseを実行して人物ボックス、フルボディキーポイント、およびフレームごとの顔のクロップを抽出します。良好なキーポイントは信頼できるモーショントランスファーのバックボーンであり、リップアーティキュレーションにも直接再利用されます。ComfyUI‑WanAnimatePreprocessから。
Sam2Segmentation (#104)
バウンディングボックスまたはキーフレームポイントのヒントを使用して被写体の周りに前景マスクを構築します。髪や手が見逃されている場合は、ヒントの種類を切り替えるか、ブロック化する前にマスクをわずかに成長させます。ComfyUI‑segment‑anything‑2から。
WanVideoLoraSelectMulti (#171)
Lightx2vやWan22 RelightなどのLoRAをミックスして、モーションの安定性、照明の一貫性、アイデンティティの強さをバランスさせます。LoRAの重みを増やして影響を強めますが、顔の過剰なスタイリングに注意してください。ComfyUI‑WanVideoWrapperから。
WanVideoAnimateEmbeds (#62)
リファレンスポートレート、ポーズ画像、顔のクロップ、背景フレーム、マスクを結合し、Wan 2.2 Animateを条件付けるコンパクトな表現を作成します。意図したエクスポートと一致するようにwidth、height、およびnum_framesを確認して、再サンプリングによるアーティファクトを避けてください。ComfyUI‑WanVideoWrapperから。
WanVideoSampler (#27)
最終フレームを生成します。よりクリーンなディテールが必要な場合は高いステップ数と安定したスケジューラーを使用するか、迅速なプレビューには軽いスケジュールを使用します。非常に長いクリップの場合、WanVideoContextOptions (#110)を配線してコンテキストウィンドウ制御を導入し、ウィンドウ全体で時間的一貫性を維持できます。
VHS_VideoCombine (#30)
完成したビデオをエクスポートし、オリジナルのオーディオをミックスしてリップムーブメントを同期させます。オーディオに合わせてトリムするオプションで、サウンドトラックと持続時間を一致させます。ComfyUI‑VideoHelperSuiteから。
Sam2Segmentationのヒントをバウンディングボックスとキーフレームポイントの間で切り替え、ブロック化する前にマスクをわずかに成長させてください。WanVideoSetBlockSwap (#50)で有効にして再テストしてください。このWan 2.2 Animate: Swap Characters & Lip-Syncワークフローは、最小限のセットアップで一貫したモーショントランスファーとスピーチ同期の口の形を提供し、ComfyUI内での高品質なキャラクター交換を迅速かつ繰り返し可能にします。
このワークフローは以下の作品とリソースを実装および構築しています。我々は、ワークフロー全体を構築した@MDMZ、WAN 2.2 Animateおよび関連するComfyUIノードを提供したKijai、json Wan-AIからYOLOv10m検出を含むWan2.2-Animateアセット、Comfy-OrgからWan 2.1 Clip Visionモデルを提供してくれたWan-AIとComfy-Orgに感謝します。権威ある詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。
注: 参照されているモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナーによって提供されたライセンスおよび条件に従います。
RunComfyは最高の ComfyUI プラットフォームです。次のものを提供しています: ComfyUIオンライン 環境とサービス、および ComfyUIワークフロー 魅力的なビジュアルが特徴です。 RunComfyはまた提供します AI Playground, アーティストが最新のAIツールを活用して素晴らしいアートを作成できるようにする。