LongCat Video Avatar 1.6 ComfyUI ワークフロー#
LongCat Video Avatar 1.6 ComfyUI ワークフローは、単一の参照画像と1または2つの音声トラックをクリーンでリップシンクされたMP4に変換します。2つのキャンバスグループが付属しており、SAM 3.1マスクで声を顔に割り当てるデフォルトの2スピーカーダイアログと、プレゼンターやキャラクター用の1スピーカーモノローグがあります。クリエイター、教育者、製品チームは、安定したアイデンティティ、自然な口の形状、穏やかな頭の動きを持つ話すアバターを迅速に作成できます。
内部では、グラフが長いスクリプトを短く重なるチャンクに分割し、LongCat Video Avatar 1.6で各チャンクのフレームを生成し、重複をトリミングし、セグメントを再結合して完全なサウンドトラックを添付します。結果は、あなたのプロンプトと構成を尊重するスムーズで音声に忠実なビデオです。
Comfyui LongCat Video Avatar 1.6 ComfyUI ワークフローの主要モデル#
- Meituan LongCat Video Avatar 1.6。スピーチフィーチャーとアイデンティティ画像をリップシンクされたフレームに変換し、外観を保持するコアアバターモデル。モデルカード
- LongCat Video Avatar アダプター (DMDとOPSD) はComfyUI用にパッケージ化されています。リリースされたパイプラインとサンプリング動作を一致させるオプションのアダプター。重み
- Whisper Large V3エンコーダー。口の形状と連音を駆動する堅牢なスピーチフィーチャーを抽出します。モデル
- Segment Anything (SAM) ファミリー。各音声トラックがダイアログショットで正しい顔をアニメーション化するための高品質な人物マスクを提供します。リポジトリ
Comfyui LongCat Video Avatar 1.6 ComfyUI ワークフローの使用方法#
全体の流れ
- 実行するグループを1つ選択します。グラフはオーディオを重なるセグメントに分割し、LongCatで各セグメントのフレームを生成し、画像にデコードし、重複を削除し、セグメントを1つのビデオに結合して完全なサウンドトラックを提供します。
2スピーカーダイアログ · デフォルト
- 両方の人物がフレームに表示されている画像を開始画像としてロードします。スピーカーごとに1つずつ、2つの音声トラックをVoice AとVoice Bに追加します。サンプルプロジェクトは、最初の行を左側の女性にルートし、次の行を右側の男性にルートします。
- SAM 3.1ノードは各人物を検出し、2つのマスクを出力します。必要に応じて、写真に合わせて「女性」と「男性」と読む短いテキストプロンプトを変更します。マスクプレビューを使用して、左右の顔がきれいに分離されていることを確認してください。
- ポジティブプロンプトとネガティブプロンプトは、高レベルのカメラと品質ガイダンスを提供します。アイデンティティと照明の一貫性を維持するために、説明的で事実に基づいたものにしてください。
- セグメントの長さと重なりは、各パスで生成されるフレームの数とセグメントがどれだけスムーズにブレンドされるかを制御します。長いセグメントはパスの数を減らし、重なりが多いほどトランジションが柔らかくなります。
- キャンバスをキューに入れて、ダイアログビデオを生成して保存します。2つのSave Videoノードは異なるファイル名プレフィックスを使用するため、ダイアログとモノローグのレンダリングが互いに上書きされません。
1スピーカーモノローグ · デフォルトでバイパス
- 1人の参照画像と1つのオーディオファイルをロードします。同じ音声トラックが持続時間、条件付け、最終的なサウンドトラックを駆動します。
- 1スピーカーのLongCatノードは画像全体を使用するため、マスキングは必要ありません。被写体を正面に向け、適度な余白を持たせて、リップリーダビリティを最適化してください。
- ポジティブプロンプトとネガティブプロンプトを調整して、オンカメラスタイルに合わせます。その後、キャンバスをキューに入れてモノローグビデオをレンダリングして保存します。
モードの切り替え
- グループメニューで、1つのグループのみを実行します。希望するモードをAlwaysに設定し、他方をBypassに設定します。ダイアログに戻るとき、特にそのバリアントを希望しない限り、Optional OPSDブレンドをバイパスしたままにしてください。
Comfyui LongCat Video Avatar 1.6 ComfyUI ワークフローの主要ノード#
LongCatAvatarToVideo (#100) · ダイアログ
- 2スピーカーシーンのためのコアジェネレーターです。開始画像、2つのエンコードされたオーディオトラック、および2つのSAMマスクを使用して、各音声が正しい顔をアニメーション化します。重要なことだけを調整します:時間的なスムーズさのためのセグメントの長さと重なり、そしてより鮮明な口の発音が必要な場合の音声の強さ。このノードはまた、ループからフレームオフセットを受け取り、各セグメントが正しい時間位置に着陸するようにします。バックグラウンドについては、ネイティブノードの紹介を参照してください。ComfyUI PR
LongCatAvatarToVideo (#300) · モノローグ
- 1つの音声トラックから1つの顔を駆動する1スピーカーのバリアントです。1つの被写体のみが見える場合に使用します。同じガイダンスが適用されます:スクリプトの長さに合わせてセグメントの長さと重なりを調整し、リップ精度と顔の安定性のバランスを取るために音声の強さを中程度に保ちます。ComfyUI PR
SAM3_Detect (#147) スピーカーAマスクと SAM3_Detect (#150) スピーカーBマスク
- 開始画像の人物を検出し、クリーンなマスクを生成します。簡単なテキストラベルを受け入れ、被写体に合わせて変更することができます。マスクが漏れる場合、プロンプトを微調整するか、簡単なボックスやポイントを提供します。内蔵のマスクプレビューを使用して分離を確認します。SAMの背景については、オリジナルのペーパーとリポジトリを参照してください。ペーパー · リポジトリ
StartLoop · セグメント (サブグラフ “ループ開始”)
- オーディオの持続時間、セグメントの長さ、重なりから必要なセグメントの数を計算して長いスクリプトを自動化します。パス間でシードをインクリメントして自然な変化をもたらし、各パスが正しいタイムライン位置で開始するようにフレームオフセットを出力します。ループは前のフレームを生成にフィードバックし、カット間の連続性を維持します。
SamplerCustom は BasicScheduler および SplitSigmas とペアになります
- ワークフローはセグメントごとに二段階のサンプラーを使用し、モーションの安定性のために高ノイズと低ノイズの範囲で動作します。実験する理由がない限り、デフォルトのサンプラーとスケジュールを維持してください。出荷された構成は公式のLongCatリリースの動作に一致します。重み · モデルカード
オプションの追加機能#
- アイデンティティを最優先。シャープで正面を向いた参照画像を使用し、中立的な唇と一貫した照明を使用します。小さな頭の回転は問題ありませんが、大きなヨーや遮蔽はリップの明瞭さを低下させます。
- ダイアログセットアップ。スピーカーが重なったり交差したりする場合、SAMプロンプトを調整するか、マスクを微調整して各音声が1つの顔のみを制御するようにします。
- オーディオ準備。ノイズリダクションが重くないクリーンなモノWAVファイルを使用します。リードおよびトレイリングのサイレンスをトリムしてタイミングをタイトに保ちます。
- プロンプト。ポジティブプロンプトを具体的でシーンレベルに保ちます。ネガティブプロンプトを使用して、露出オーバー、ジッター、フローズンマウスのようなアーティファクトを排除します。
- バリアント。Optional OPSDブレンドは実験用に提供されていますが、公開されたパイプラインを反映するためにデフォルトでバイパスされています。重み
謝辞#
このワークフローは、以下の作品とリソースを実装し、構築しています。LongCat-Video-Avatar 1.6モデルのためにMeituan LongCatチームに、ComfyUI用のLongCat-Video-Avatarの重みとネイティブLongCat Avatarノードとソースワークフローを提供してくれたComfy-Orgに感謝の意を表します。詳細については、以下のオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- ドキュメント / リリースノート: LongCat-Video-Avatar-1.6 テクニカルレポート (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — LongCatAvatar (CORE-720) のサポート
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
注意: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナによって提供されたライセンスと条件の対象となります。
