ComfyUI>Workflows>LongCat Video Avatar 1.6 | Lippensynchrone Videos

LongCat Video Avatar 1.6 | Lippensynchrone Videos

Workflow Name: RunComfy/LongCat-Avatar-1.6
Workflow ID: 0000...1567
Animieren Sie Ihr Referenzbild mit LongCat Avatar 1.6. Fügen Sie Sprache für ein lippensynchrones MP4 hinzu. Erstellen Sie Einzelpräsentationen. Bauen Sie Dialoge zwischen zwei Personen. Weisen Sie Stimmen mit SAM 3.1-Masken zu. Wechseln Sie zwischen dedizierten Canvas-Gruppen.

LongCat Video Avatar 1.6 ComfyUI Workflow Workflow

LongCat Video Avatar 1.6 ComfyUI | SAM 3.1 Lip Sync
Want to run this workflow?
  • Fully operational workflows
  • No missing nodes or models
  • No manual setups required
  • Features stunning visuals

LongCat Video Avatar 1.6 ComfyUI Workflow Examples

LongCat Video Avatar 1.6 ComfyUI Workflow#

Der LongCat Video Avatar 1.6 ComfyUI Workflow verwandelt ein einzelnes Referenzbild und ein oder zwei Sprachspuren in ein sauberes, lippensynchrones MP4. Er wird mit zwei Canvas-Gruppen geliefert: einem Standard-Dialog mit zwei Sprechern, der Stimmen mit SAM 3.1-Masken Gesichtern zuweist, und einem Monolog für Einzelsprecher für Präsentatoren oder Charaktere. Kreative, Pädagogen und Produktteams können schnell sprechende Avatare mit stabiler Identität, natürlichen Mundformen und sanften Kopfbewegungen produzieren.

Im Hintergrund segmentiert der Graph längere Skripte in kurze überlappende Abschnitte, generiert Frames für jeden Abschnitt mit LongCat Video Avatar 1.6, kürzt die Überlappung und fügt dann die Segmente wieder zusammen, während der vollständige Soundtrack angehängt wird. Das Ergebnis ist ein flüssiges, sprachgenaues Video, das Ihren Prompt und Ihre Komposition respektiert.

Schlüsselmodelle im Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#

  • Meituan LongCat Video Avatar 1.6. Kern-Avatar-Modell, das Sprachmerkmale plus ein Identitätsbild in lippensynchrone Frames verwandelt und dabei das Erscheinungsbild bewahrt. Model card
  • LongCat Video Avatar Adapter (DMD und OPSD), verpackt für ComfyUI. Optionale Adapter, die das Sampling-Verhalten mit der veröffentlichten Pipeline abgleichen. Weights
  • Whisper Large V3 Encoder. Extrahiert robuste Sprachmerkmale, die Mundformen und Koartikulation steuern. Model
  • Segment Anything (SAM) Familie. Bietet hochqualitative Personenmasken, sodass jede Sprachspur das richtige Gesicht in Dialogaufnahmen animiert. Repository

Verwendung des Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#

Gesamtablauf

  • Wählen Sie eine Gruppe zur Ausführung. Der Graph teilt das Audio in überlappende Segmente, generiert Frames für jedes Segment mit LongCat, dekodiert sie in Bilder, entfernt die wiederholte Überlappung und fügt die Segmente zu einem einzigen Video mit Ihrem vollständigen Soundtrack zusammen.

Zwei-Sprecher-Dialog · Standard

  • Laden Sie ein Bild, das beide Personen im Frame zeigt, mit dem Startbild. Fügen Sie zwei Sprachspuren hinzu, eine pro Sprecher, zu Stimme A und Stimme B. Das Beispielprojekt leitet die erste Zeile zur Frau links und die zweite Zeile zum Mann rechts.
  • SAM 3.1-Knoten erkennen jede Person und geben zwei Masken aus. Ändern Sie die kurzen Text-Prompts, die Frau und Mann lesen, um Ihr Foto anzupassen, falls erforderlich. Verwenden Sie die Maskenvorschauen, um zu bestätigen, dass die linken und rechten Gesichter sauber getrennt sind.
  • Positive und Negative Prompts geben hochrangige Kamera- und Qualitätsrichtlinien. Halten Sie sie beschreibend und sachlich, um Identität und Beleuchtungskontinuität zu bewahren.
  • Segmentlänge und Überlappung steuern, wie viele Frames pro Durchgang generiert werden und wie flüssig Segmente überblenden. Längere Segmente reduzieren die Anzahl der Durchgänge, und mehr Überlappung mildert Übergänge.
  • Stellen Sie die Leinwand in die Warteschlange, um das Dialogvideo zu generieren und zu speichern. Zwei Video-Speichern-Knoten verwenden unterschiedliche Dateinamenpräfixe, damit Dialog- und Monolog-Render nicht überschrieben werden.

Einzel-Sprecher-Monolog · standardmäßig umgangen

  • Laden Sie ein Einzelpersonen-Referenzbild und eine Audiodatei. Die gleiche Sprachspur steuert Dauer, Konditionierung und den endgültigen Soundtrack.
  • Der Einzel-Sprecher-LongCat-Knoten verwendet das gesamte Bild, daher ist keine Maskierung erforderlich. Halten Sie das Subjekt frontseitig mit moderatem Spielraum für beste Lippenlesbarkeit.
  • Passen Sie Positive und Negative Prompts an, um Ihren On-Camera-Stil zu entsprechen. Stellen Sie dann die Leinwand in die Warteschlange, um das Monologvideo zu rendern und zu speichern.

Wechsel zwischen Modi

  • Im Menü Gruppen führen Sie nur eine Gruppe gleichzeitig aus. Stellen Sie den Modus, den Sie möchten, auf Immer und den anderen auf Umgehen. Wenn Sie zum Dialog zurückkehren, halten Sie den Optionalen OPSD-Blend umgangen, es sei denn, Sie möchten speziell diese Variante.

Schlüssel-Knoten im Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#

LongCatAvatarToVideo (#100) · Dialog

  • Der Kern-Generator für Zwei-Sprecher-Szenen. Es nimmt das Startbild, zwei kodierte Audiospuren und zwei SAM-Masken, sodass jede Stimme das richtige Gesicht animiert. Stimmen Sie nur das ab, was zählt: Segmentlänge versus Überlappung für zeitliche Glätte und Audiostärke, wenn Sie eine knackigere Mundartikulation benötigen. Der Knoten erhält auch einen Frame-Offset vom Loop, sodass jedes Segment an der richtigen Stelle in der Zeit landet. Siehe die native Knoten-Einführung für Hintergrund. ComfyUI PR

LongCatAvatarToVideo (#300) · Monolog

  • Die Einzel-Sprecher-Variante steuert ein Gesicht von einer Audiospur. Verwenden Sie es, wenn nur ein Subjekt sichtbar ist. Die gleiche Anleitung gilt: Passen Sie Segmentlänge und Überlappung an Ihre Skriptlänge an und halten Sie die Audiostärke moderat, um Lippenpräzision und Gesichtsstabilität auszubalancieren. ComfyUI PR

SAM3_Detect (#147) Sprecher A Maske und SAM3_Detect (#150) Sprecher B Maske

  • Diese erkennen Personen im Startbild und liefern saubere Masken. Sie akzeptieren kurze Textlabels, die Sie ändern können, um Ihre Subjekte zu reflektieren. Wenn die Masken bluten, passen Sie die Prompts an oder geben Sie einfache Kästchen oder Punkte an; verwenden Sie die integrierten Maskenvorschauen, um die Trennung zu überprüfen. Für SAM-Hintergrund siehe das Originalpapier und Repo. Paper · Repo

StartLoop · Segmente (Subgraph "Loop Start")

  • Automatisiert lange Skripte, indem berechnet wird, wie viele Segmente aus Audiodauer, Segmentlänge und Überlappung benötigt werden. Es erhöht den Seed zwischen den Durchgängen für natürliche Variation und gibt einen Frame-Offset aus, sodass jeder Durchgang an der richtigen Position in der Zeitleiste beginnt. Der Loop füttert vorherige Frames zurück in die Generierung, um die Kontinuität über Schnitte hinweg aufrechtzuerhalten.

SamplerCustom paart sich mit BasicScheduler und SplitSigmas

  • Der Workflow verwendet einen zweistufigen Sampler pro Segment, der auf höheren und dann niedrigeren Rauschbereichen für Bewegungsstabilität arbeitet. Halten Sie den Standard-Sampler und den Zeitplan bei, es sei denn, Sie haben einen Grund zum Experimentieren; die mitgelieferte Konfiguration entspricht dem offiziellen LongCat-Verhaltensmuster. Weights · Model card

Optionale Extras#

  • Identität zuerst. Verwenden Sie ein scharfes, frontseitiges Referenzbild mit neutralen Lippen und gleichmäßiger Beleuchtung. Kleine Kopfdrehungen sind in Ordnung; große Gierbewegungen oder Verdeckungen reduzieren die Lippenklarheit.
  • Dialog-Einrichtung. Wenn sich Ihre Sprecher überlappen oder kreuzen, passen Sie die SAM-Prompts an oder verfeinern Sie die Masken, sodass jede Stimme nur ein Gesicht steuert.
  • Audiovorbereitung. Verwenden Sie saubere, mono WAV-Dateien ohne starke Rauschunterdrückung. Kürzen Sie führende und nachlaufende Stille, um das Timing straff zu halten.
  • Prompting. Halten Sie Positive Prompts konkret und szeneebenen. Verwenden Sie den Negative Prompt, um Artefakte wie Überbelichtung, Zittern oder eingefrorenen Mund auszuschließen.
  • Varianten. Der Optionale OPSD-Blend wird zur Experimentierung bereitgestellt, aber standardmäßig umgangen, um die veröffentlichte Pipeline widerzuspiegeln. Weights

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken dem Meituan LongCat-Team für das LongCat-Video-Avatar 1.6 Modell, Comfy-Org für die LongCat-Video-Avatar-Gewichte für ComfyUI und Comfy-Org/ComfyUI für die nativen LongCat Avatar-Knoten und die Quell-Workflow für ihre Beiträge und Pflege. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.

Ressourcen#

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Betreuer.

RunComfy
Urheberrecht 2026 RunComfy. Alle Rechte vorbehalten.

RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI Models, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.