ComfyUI Vid2Vid ダンス転送は、ユーザーがリアルなビデオをさまざまなオブジェクトや要素にスタイライズおよび変換できる強力なComfyUI Vid2Vidワークフローです。このワークフローを使用すると、ソースビデオの動きとスタイルをターゲット画像またはオブジェクトに転送して、驚くべきビデオアニメーションを作成できます。このチュートリアルでは、最高の結果を得るために必要な主要なコンポーネントと設定について説明します。
クレジット
このワークフローの作成に多大な貢献をしてくれたMDMZとDPに感謝します！ MDMZは、YouTubeチュートリアルTransform Videos with AI: Dancing Noodles Step-by-Step Tutorialを通じて、彼のComfyUI Vid2Vid ダンス転送ワークフローを共有しました。このチュートリアルは、DPのオリジナルDP's - Vid2Vid AniamteDiff LCM dance transferワークフローに基づいています。
1. ComfyUI Vid2Vid ダンス転送ワークフローは何をしますか？
ComfyUI Vid2Vid ダンス転送ワークフローは、リアルなビデオをスタイライズされたアニメーションに変換します。ソースビデオからターゲット画像またはオブジェクトに動きとダンスの動きを転送します。
2. ComfyUI Vid2Vid ワークフローの主要なコンポーネント
2.1 ビデオのアップロードとマスクの作成
- ComfyUI Vid2Vid ワークフローは、VHS_LoadVideoコンポーネントから始まり、転送したいダンスの動きを含むソースビデオをアップロードします。
- LayerMask: RemBgUltraコンポーネントは、ビデオフレームから背景を削除し、被写体の白黒マスクを作成します。このマスクは、動きを適切に識別して転送するために重要です。
- ImageToMaskおよびMaskToImageコンポーネントは、ComfyUI Vid2Vidワークフローで必要に応じて画像とマスク形式を変換します。
- 🌟 重要なヒント: RunComfyプラットフォームには、「Layer Style」ノードに必要な「RemBgultraモデル」がプリロードされています。自分で「Layer Style」ノードをインストールした場合は、競合を避けるためにプライベートファイルブラウザから「Layer Style」ファイルを削除してください。「Layer Style」ファイルを削除した後、ワークフローはRunComfyのプリロードを使用してスムーズに実行されます。
2.2 IPAdapterを使用したターゲット画像の設定
- IPAdapterAdvancedコンポーネントは、ComfyUI Vid2Vidダンス転送を受け取るターゲット画像またはオブジェクトをロードおよび設定するために使用されます。LoadImageノードを使用してターゲット画像をアップロードし、LoadBgImageノードを使用してターゲット背景画像をアップロードできます。
- IPAdapterUnifiedLoaderは、出力に対するターゲット画像の影響力を決定するIPAdapterをロードするために使用されます。
2.3 AnimateDiffを使用した動きの転送
- ComfyUI Vid2Vidダンス転送のコアは、AnimateDiff Latent Condition Model (LCM)によって駆動されます。これは、ComfyUI Vid2VidでADE_LoadAnimateDiffModelコンポーネントを使用してロードされます。
- ADE_AnimateDiffSamplingSettings、ADE_LoopedUniformContextOptions、およびADE_ApplyAnimateDiffModelSimpleなどの追加コンポーネントは、それぞれサンプリング設定、コンテキストオプション、およびAnimateDiffモデルの適用を設定するために使用されます。
- ADE_UseEvolvedSamplingコンポーネントは、ComfyUI Vid2VidでAnimateDiffモデルに適したサンプリング方法を選択するために使用されます。
2.4 ControlNetを使用した出力のガイダンス
- ControlNetは、出力アニメーションの被写体の形状と輪郭をガイドおよび定義するために使用されます。
- ControlNetLoaderAdvancedコンポーネントは、ControlNetモデルをロードするために使用されます。このワークフローでは、QR Code MonsterとLineartの2つのControlNetモデルを使用します。
- ControlNet Stackerコンポーネントは、調整可能な強度でControlNet出力をスタックおよび組み合わせるために使用されます。
2.5 KSamplerを使用した出力フレームの生成
- ComfyUI Vid2VidのKSampler（Efficient）コンポーネントは、提供されたすべての構成と入力に基づいて出力フレームを生成する役割を果たします。
- メインのKSamplerコンポーネントは、アニメーションプレビューを作成するためにビデオフレームを処理します。これは、AnimateDiffモデル、IPAdapter出力、ControlNetスタック、およびその他の設定を入力として受け取ります。
- 2つ目のKSamplerコンポーネントは、ComfyUI Vid2Vid出力フレームのアップスケーリングおよびノイズ除去に使用されます。
2.6 必要に応じたアップスケーリング
- ImageScaleByコンポーネントは、出力フレームの解像度をスケールアップするために使用されます。ImageUpscaleWithModelコンポーネントは、選択したアップスケールモデルを使用してフレームをさらにアップスケールするために使用されます。ワークフローはデフォルトでアップスケールコンポーネントを無効に設定しています。必要に応じて、これらのコンポーネントを有効にして、より良い結果を得ることができます。
