SCAIL 2 マルチロール参照アクション転送: ComfyUIのためのマルチキャラクター、アイデンティティ保持のモーショントランスファー#
このワークフローは、SCAIL 2 マルチロール参照アクション転送を提供します: ドライビングビデオを取り込み、アクションを1つまたは複数の参照キャラクターに転送し、各被写体の視覚的アイデンティティを保持します。モーショントランスファーとフルキャラクターの置き換えをサポートし、マルチイメージアイデンティティの参照を処理し、ストーリーテリング、対話、およびグループパフォーマンスに適した一貫性のあるマルチロールシーンを生成します。
SCAIL_2埋め込み、CLIP Visionガイダンス、およびセグメンテーション駆動のロールマスクを使用したWan 2.1ビデオ生成を中心に構築されたこのパイプラインは、一貫したアイデンティティ、自然な動作、およびクリップ全体にわたる制御可能なインタラクションに焦点を当てています。
Comfyui SCAIL 2 マルチロール参照アクション転送ワークフローの主要モデル#
- ComfyUI-WanVideoWrapperを介したWan 2.1ビデオバックボーン。生成器は、SCAIL_2イメージ埋め込み、視覚条件付け、およびプロンプトテキストからビデオフレームを合成し、長いコンテキストと効率的なメモリ使用を処理します。 GitHub
- CLIP Visionエンコーダー。主要な参照画像またはコラージュから強力な視覚埋め込みを提供し、生成中のアイデンティティと外観を誘導します。画像–テキスト表現学習の背景についてはCLIPペーパーを参照してください。 arXiv
- mT5ファミリーテキストエンコーダー。フレーム全体で望ましい被写体とアクションにコンテンツを偏らせるために使用される肯定的および否定的なプロンプトをエンコードします。 arXiv
- ビデオオブジェクトトラッキングのためのSegment Anythingスタイルのセグメンテーション。このワークフローは、SAMファミリーチェックポイントを使用して被写体を検出および追跡し、マルチキャラクターアクション転送を駆動する役割ごとのマスクを生成します。SAMセグメンテーションの背景: GitHub
- LoRAアダプター。オプションのアダプターは、モデル全体の再トレーニングなしでアイデンティティの保持とアクションの忠実性を専門とします。LoRAチューニングの背景: arXiv
- FeiHou Toolboxユーティリティ。コラージュとマスクのユーティリティは、SCAIL 2用のマルチイメージアイデンティティの参照と色付き、役割認識マスクを促進します。 GitHub
- KJNodesイメージユーティリティ。高品質のリサイズは、安定したサンプリングのために入力とマスクをビデオ寸法に一致させます。 GitHub
Comfyui SCAIL 2 マルチロール参照アクション転送ワークフローの使用方法#
このワークフローには4つの主要なステージがあります: アセットと生成器の読み込み、マルチロール参照とマスクの構築、SCAIL_2埋め込みのコンパイル、次に最終ビデオのサンプリングとエクスポート。グループは上から下に実行され、各ステップで役立つプレビューが表示されます。
モデル読み込みエリア#
このエリアはWan 2.1バックボーンとそのVAEを準備します。WanAnimatePlus ModelLoader (#37)を使用してベースモデルと精度を選択し、WanAnimatePlus VAELoader (#71)で一致するVAEを選択します。アイデンティティや動作をさらに偏らせる予定がある場合は、WanAnimatePlus LoraSelectMulti (#66)でアダプターを追加し、WanAnimatePlus SetLoRAs (#69)を介してモデルに適用します。オプションのWanVideoTorchCompileSettings (#72)は、アテンションブロックをコンパイルすることで待機時間を短縮できます。
シングルイメージロード#
シングルイメージロードグループでLoadImageを使用して主要なアイデンティティ画像を提供します。この画像は主要な被写体の外観を固定します。複数のアイデンティティや役割のコラージュを作成することを好む場合は、クイックトグルグループでシングルイメージの代わりにコラージュ入力からルートを切り替えます。
コラージュ入力#
AutoRefCollage (#370)を使用して、複数の参照画像を1つのレイアウトに組み合わせ、人を自動的に検出し、トリミングをクリーンキャンバスに配置します。コラージュはマルチロールアイデンティティボードとして機能します: 各被写体はSCAIL 2 マルチロール参照アクション転送ステージの外観の手がかりを提供します。組み合わせたコラージュをプレビューするノードがあり、次に進む前にフレーミングを確認できます。
マルチイメージ参照#
ここでは、LoadImageを使用して3つ以上のキュレーションされたポートレートをロードし、ImageBatchMulti (#331)を使用してそれらをパックすることができます。ImageResizeKJv2は、意図したビデオ解像度にサイズを合わせます。このパスは、外観モデルに情報を提供するアイデンティティとアングルをより厳密に制御したい場合に役立ちます。
ビデオロード#
VHS_LoadVideo (#297)はドライビングビデオとオーディオを取り込みます。スムーズな動作のためにターゲットフレームレートを強制したり、総フレーム数を制限して持続時間を制限したり、イントロセグメントをスキップしたり、より高速な反復のためにN番目のフレームごとにサンプリングしたりできます。別の「参照ビデオプレビュー」サブパイプラインは、ロードされたフレームを組み合わせて再生し、追跡前にクリップが正しく見えることを確認できます。
マスクエリア#
このワークフローは、被写体を検出および追跡して、SCAIL 2 マルチロール参照アクション転送を駆動する役割認識マスクを作成します。3つのSAM3_VideoTrackノード (#315, #316, #306)は、ドライビングビデオ、参照画像、オプションのプレフィックスフレームでオブジェクトを追跡します。SCAIL2ColoredMaskV2 (#354)は、それらのトラックを3つの出力に融合します: ポーズビデオマスク、色付き参照画像マスク、およびウォームスタート用のプレフィックスマスク。単一ロールおよびマルチロールマスクのプレビューにより、各色がサンプリング前に正しいキャラクターに対応していることを確認できます。
モーショントランスファー - 埋め込み処理#
WanAnimatePlus SCAIL_2 Embeds (#342)は、入力を生成器で使用されるSCAIL_2イメージ埋め込みに変換します。VAE機能、CLIP Vision埋め込み、参照画像またはコラージュ、背景置換（オプション）、追跡ポーズフレーム、および色付きマスクを組み合わせます。2つのモードで実行できます: モーショントランスファー（ドライビングモーションで参照外観を使用する）またはキャラクター置換（入力ビデオの人物を参照と置き換える）。主要な参照背景を保持し、長いまたは高解像度のランのためにプレフィックスフレームをクロップまたはタイルするオプションもあります。
サンプリングエリア#
WanVideoTextEncodeCachedはプロンプトをエンコードし、WanVideoContextOptions (#290)はフレームにわたる時間的ウィンドウを制御します。WanAnimatePlus SamplerSettings (#332)はモデル、SCAIL_2イメージ埋め込み、およびテキスト埋め込みをサンプリングハイパーパラメータとスケジュールと共に収集し、WanAnimatePlus SamplerFromSettings (#311)が生成を実行します。WanAnimatePlus Decode (#267)は潜在的なものをフレームに変換します; メモリ制限に直面した場合は、ここでVAEタイル化を有効にできます。ビデオはVHS_VideoCombineを介して最終化され、プレビューエリアからエクスポートされます; マスクのみのクリップをクイックデバッグ用にエクスポートするコンパニオンコンバインもあります。
クイックトグルとビデオ寸法#
「true = キャラクター置換 | false = モーショントランスファー」スイッチ (#341)は、役割が下流でどのように扱われるかを即座に変更します。幅と高さの定数は、形状を整列させるためにすべてのリサイズおよびマスクノードにフィードされます。FastGroupsBypassSwitch (#351)は、配線を変更せずにシングルイメージとコラージュ入力を切り替えることができます。
Comfyui SCAIL 2 マルチロール参照アクション転送ワークフローの主要ノード#
SCAIL2ColoredMaskV2 (#354)#
ドライビングビデオ、参照画像、およびオプションのプレフィックスフレームからオブジェクトトラックをマージすることにより、役割認識マスクを生成します。object_indicesを使用して、追跡されたIDを役割にするか選択し、prefix_mask_modeを使用して、複数のキャラクターを同時に駆動する際に単一画像、マルチカラーのレイアウトを指定します。マスクの意味が埋め込みステージと一致するように、replacement_modeをグローバルトグルと一貫させます。
WanAnimatePlus SCAIL_2 Embeds (#342)#
VAE、CLIP Vision、マルチイメージ参照、ポーズフレーム、およびマスクをSCAIL_2埋め込みに融合して生成器に供給します。アイデンティティがドリフトする場合はref_strengthを増やし、動作の忠実性が低い場合はpose_strengthを上げます。参照背景を保持すべきシーンの場合、背景保持を有効にし、単一のプレフィックスフレームから始める場合は、単一フレームプレフィックスエンコーディングを有効にします。
SAM3_VideoTrack (#315, #316, #306)#
フレーム全体で被写体を検出および追跡し、マスク生成器に供給します。キャラクターを過小検出する場合は、detection_thresholdを下げるか、max_objectsを許可します; 追跡がノイズの場合は、再検出の振動を減らすためにdetect_intervalを増やします。常に色付きマスクのプレビューを確認し、各役割が時間を通じて安定していることを確認してください。
VHS_LoadVideo (#297)#
ドライビングクリップを制御します。force_rateは作業FPSを設定し、frame_load_capは持続時間を制限し、skip_first_framesはイントロをトリムし、select_every_nthはより速いテストのためにフレームをサブサンプリングします。これらのコントロールはコンテキストウィンドウとメモリに直接影響を与えるため、サンプリング前に調整してください。
WanAnimatePlus SamplerSettings (#332)#
コア生成ノブを保持します。steps、scheduler、およびcfgは、詳細、スムーズさ、およびプロンプトへの準拠を誘導します; denoise_strengthは、SCAIL_2ガイダンスがフレームをどの程度再形成できるかを管理します。マルチキャラクターシーンを洗練する際に再現性を高めるためにseed入力を使用します。
WanAnimatePlus BlockSwap (#67)#
サンプリング中にコンピュートブロックを交換するオプションのメモリセーバーです。厳しいVRAM予算または長いフレーム範囲で、メモリエラーを防ぐためにスワッピングを増やします; 高VRAM GPUでは、速度のためにこれを減らすか無効にします。
WanAnimatePlus Decode (#267)#
潜在的なものをRGBフレームにデコードします。解像度やクリップ長が高く、デコードがOOMする場合は、タイル化されたVAEデコードを有効にし、タイルサイズとストライドを適切に設定してタイルがクリーンに重なるようにします。
オプションのエクストラ#
- マルチキャラクタークリップでは、各役割に少なくとも1つのクリーンで正面向きのポートレートを与え、コラージュ全体で照明を一貫させます。
- マスクと動作の品質を検証するためにモーショントランスファーモードで開始し、パフォーマーをjson
完全に交換する必要がある場合はキャラクター置換に切り替えます。
- 長いレンダリングの前に役割の割り当てと色の安定性を確認するためにマスクのみのビデオプレビューを使用します。
- すべての入力を同じ幅と高さに整列させます; 外部ツールではなく提供されたリサイズノードを使用して、微妙な形状の不一致を避けます。
- 結果が過度にスタイライズされているか、アイデンティティが外れている場合は、プロンプトの強度を下げ、埋め込みステージで参照の強調を上げます; アダプターを有効にした場合はLoRAミックスを調整します。
WanVideoContextOptionsでコンテキストウィンドウを大きくすると長いクリップが有益です; メモリとバランスを取り、必要に応じてVAEタイル化と控えめなブロックスワッピングを有効にします。
このSCAIL 2 マルチロール参照アクション転送ワークフローは、マルチロールモーショントランスファーを繰り返し可能かつ予測可能にするように設計されています: 明確な参照を準備し、マスクを検証し、安定した設定でサンプリングして、アイデンティティに忠実で自然な動きをキャラクターにわたって実現します。
謝辞#
このワークフローは、以下の作品とリソースを実装および構築しています。我々は、SCAIL 2 マルチロール参照アクション転送ワークフローソースに感謝し、その貢献とメンテナンスに感謝します。権威のある詳細については、以下にリンクされた元のドキュメントおよびリポジトリを参照してください。
リソース#
- SCAIL 2/SCAIL 2 マルチロール参照アクション転送ワークフローソース
- ドキュメント / リリースノート: SCAIL 2 マルチロール参照アクション転送ワークフローソース
注意: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナンス者によって提供されたライセンスおよび条件の対象となります。