LongCat Video Avatar 1.6 ComfyUI Workflow#
Le flux de travail LongCat Video Avatar 1.6 ComfyUI transforme une image de référence unique et une ou deux pistes vocales en un MP4 propre et synchronisé sur les lèvres. Il est livré avec deux groupes de canevas : un dialogue à deux locuteurs par défaut qui attribue des voix aux visages avec des masques SAM 3.1, et un monologue à un seul locuteur pour les présentateurs ou les personnages. Les créateurs, les éducateurs et les équipes produits peuvent rapidement produire des avatars parlants avec une identité stable, des mouvements de bouche naturels et des mouvements de tête doux.
Sous le capot, le graphique segmente les scripts plus longs en courts morceaux qui se chevauchent, génère des cadres pour chaque morceau avec LongCat Video Avatar 1.6, coupe le chevauchement, puis recolle les segments tout en attachant la bande sonore complète. Le résultat est une vidéo fluide et précise qui respecte votre prompt et votre composition.
Modèles clés dans le flux de travail LongCat Video Avatar 1.6 ComfyUI#
- Meituan LongCat Video Avatar 1.6. Modèle d'avatar principal qui transforme les caractéristiques vocales plus une image d'identité en cadres synchronisés sur les lèvres tout en préservant l'apparence. Model card
- Adaptateurs LongCat Video Avatar (DMD et OPSD) emballés pour ComfyUI. Adaptateurs optionnels qui alignent le comportement d'échantillonnage avec le pipeline publié. Weights
- Encodeur Whisper Large V3. Extrait des caractéristiques vocales robustes qui pilotent les formes de la bouche et la coarticulation. Model
- Famille Segment Anything (SAM). Fournit des masques de personnes de haute qualité pour que chaque piste vocale anime le bon visage dans les plans de dialogue. Repository
Comment utiliser le flux de travail LongCat Video Avatar 1.6 ComfyUI#
Flux global
- Choisissez un groupe à exécuter. Le graphique divise l'audio en segments qui se chevauchent, génère des cadres pour chaque segment avec LongCat, les décode en images, supprime le chevauchement répété et concatène les segments en une seule vidéo avec votre bande sonore complète.
Dialogue à deux locuteurs · par défaut
- Chargez une image montrant les deux personnes dans le cadre en utilisant l'image de départ. Ajoutez deux pistes vocales, une par locuteur, à Voice A et Voice B. Le projet d'exemple dirige la première ligne vers la femme à gauche, puis la deuxième ligne vers l'homme à droite.
- Les nœuds SAM 3.1 détectent chaque personne et produisent deux masques. Changez les invites textuelles courtes qui lisent femme et homme pour correspondre à votre photo si nécessaire. Utilisez les aperçus de masques pour confirmer que les visages gauche et droit sont séparés proprement.
- Les invites positives et négatives donnent des conseils de caméra et de qualité de haut niveau. Gardez-les descriptives et factuelles pour maintenir la continuité de l'identité et de l'éclairage.
- La longueur du segment et le chevauchement contrôlent le nombre de cadres générés par passage et la fluidité des transitions des segments. Des segments plus longs réduisent le nombre de passages, et plus de chevauchement adoucit les transitions.
- Mettez en file d'attente le canevas pour générer et enregistrer la vidéo de dialogue. Deux nœuds Save Video utilisent différents préfixes de nom de fichier pour que les rendus de dialogue et de monologue ne se remplacent pas l'un l'autre.
Monologue à un seul locuteur · contourné par défaut
- Chargez une image de référence d'une seule personne et un fichier audio. La même piste vocale détermine la durée, le conditionnement et la bande sonore finale.
- Le nœud LongCat à un seul locuteur utilise toute l'image, donc aucun masquage n'est requis. Gardez le sujet de face avec un espace suffisant pour une meilleure lisibilité des lèvres.
- Ajustez les invites positives et négatives pour correspondre à votre style à l'écran. Ensuite, mettez en file d'attente le canevas pour rendre et enregistrer la vidéo de monologue.
Changement entre les modes
- Dans le menu Groupes, exécutez un seul groupe à la fois. Réglez le mode que vous souhaitez sur Always et l'autre sur Bypass. Lors du retour au Dialogue, gardez le mélange OPSD optionnel contourné sauf si vous souhaitez spécifiquement cette variante.
Nœuds clés dans le flux de travail LongCat Video Avatar 1.6 ComfyUI#
LongCatAvatarToVideo (#100) · Dialogue
- Le générateur principal pour les scènes à deux locuteurs. Il prend l'image de départ, deux pistes audio encodées et deux masques SAM pour que chaque voix anime le bon visage. Ajustez seulement ce qui compte : la longueur du segment par rapport au chevauchement pour la fluidité temporelle, et la force audio si vous avez besoin d'une articulation plus précise des lèvres. Le nœud reçoit également un décalage de cadre de la boucle pour que chaque segment atterrisse à la bonne position dans le temps. Voir l'introduction du nœud natif pour le contexte. ComfyUI PR
LongCatAvatarToVideo (#300) · Monologue
- La variante à un seul locuteur anime un visage à partir d'une piste audio. Utilisez-le quand un seul sujet est visible. Les mêmes conseils s'appliquent : ajustez la longueur du segment et le chevauchement pour la longueur de votre script, et gardez la force audio modérée pour équilibrer la précision des lèvres et la stabilité du visage. ComfyUI PR
SAM3_Detect (#147) masque du locuteur A et SAM3_Detect (#150) masque du locuteur B
- Ceux-ci détectent les personnes dans l'image de départ et produisent des masques propres. Ils acceptent des étiquettes textuelles brèves, que vous pouvez changer pour refléter vos sujets. Si les masques débordent, ajustez les invites ou fournissez des boîtes ou des points simples ; utilisez les aperçus de masques intégrés pour vérifier la séparation. Pour le contexte SAM, voir l'article original et le dépôt. Paper · Repo
StartLoop · Segments (sous-graphe "Loop Start")
- Automatise les scripts longs en calculant combien de segments sont nécessaires à partir de la durée audio, de la longueur du segment et du chevauchement. Il incrémente la graine entre les passages pour une variation naturelle et produit un décalage de cadre pour que chaque passage commence à la bonne position sur la chronologie. La boucle réinjecte les cadres précédents dans la génération pour maintenir la continuité à travers les coupures.
SamplerCustom s'associe à BasicScheduler et SplitSigmas
- Le flux de travail utilise un échantillonneur à deux étapes par segment, opérant d'abord sur des plages de bruit plus élevées, puis plus basses pour la stabilité du mouvement. Conservez l'échantillonneur et le calendrier par défaut à moins d'avoir une raison d'expérimenter ; la configuration fournie correspond au comportement de la version officielle LongCat. Weights · Model card
Extras optionnels#
- Identité d'abord. Utilisez une référence nette, de face, avec des lèvres neutres et un éclairage cohérent. De petits mouvements de tête sont acceptables ; de grandes inclinaisons ou occlusions réduisent la clarté des lèvres.
- Configuration du dialogue. Si vos locuteurs se chevauchent ou se croisent, ajustez les invites SAM ou affinez les masques pour que chaque voix ne contrôle qu'un seul visage.
- Préparation audio. Utilisez des fichiers WAV mono propres sans réduction de bruit excessive. Coupez les silences de début et de fin pour maintenir un timing serré.
- Invitations. Gardez les invites positives concrètes et au niveau de la scène. Utilisez l'invite négative pour exclure les artefacts tels que la surexposition, le tremblement ou la bouche figée.
- Variantes. Le mélange OPSD optionnel est fourni pour l'expérimentation mais est contourné par défaut pour refléter le pipeline publié. Weights
Remerciements#
Ce flux de travail implémente et s'appuie sur les œuvres et ressources suivantes. Nous remercions chaleureusement l'équipe Meituan LongCat pour le modèle LongCat-Video-Avatar 1.6, Comfy-Org pour les poids LongCat-Video-Avatar pour ComfyUI, et Comfy-Org/ComfyUI pour les nœuds natifs LongCat Avatar et le flux de travail source pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation et aux dépôts originaux liés ci-dessous.
Ressources#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- Docs / Release Notes: LongCat-Video-Avatar-1.6 Tech Report (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — Support LongCatAvatar (CORE-720)
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
Note: L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.

