LongCat Video Avatar 1.6 ComfyUI Workflow#
Il flusso di lavoro di LongCat Video Avatar 1.6 ComfyUI trasforma un'unica immagine di riferimento e una o due tracce vocali in un MP4 pulito e sincronizzato labialmente. Viene fornito con due gruppi di telecamere: un dialogo a due speaker di default che assegna voci ai volti con maschere SAM 3.1, e un monologo a un solo speaker per presentatori o personaggi. Creatori, educatori e team di prodotto possono produrre rapidamente avatar parlanti con identità stabile, forme naturali della bocca e movimenti della testa dolci.
Sotto il cofano, il grafico segmenta script più lunghi in brevi blocchi sovrapposti, genera fotogrammi per ciascun blocco con LongCat Video Avatar 1.6, rifinisce la sovrapposizione, quindi unisce i segmenti mentre collega la colonna sonora completa. Il risultato è un video fluido e accurato alla voce che rispetta il tuo prompt e la composizione.
Modelli chiave nel flusso di lavoro di LongCat Video Avatar 1.6 ComfyUI#
- Meituan LongCat Video Avatar 1.6. Modello avatar principale che trasforma le caratteristiche del discorso più un'immagine di identità in fotogrammi sincronizzati labialmente mantenendo l'aspetto. Model card
- Adattatori LongCat Video Avatar (DMD e OPSD) confezionati per ComfyUI. Adattatori opzionali che allineano il comportamento di campionamento con il flusso di lavoro rilasciato. Weights
- Whisper Large V3 encoder. Estrae caratteristiche vocali robuste che guidano le forme della bocca e la coarticolazione. Model
- Segment Anything (SAM) family. Fornisce maschere di persone di alta qualità in modo che ogni traccia vocale animi il volto corretto nelle riprese di dialogo. Repository
Come usare il flusso di lavoro ComfyUI LongCat Video Avatar 1.6#
Flusso generale
- Scegli un gruppo da eseguire. Il grafico divide l'audio in segmenti sovrapposti, genera fotogrammi per ciascun segmento con LongCat, li decodifica in immagini, elimina la sovrapposizione ripetuta e concatena i segmenti in un unico video con la tua colonna sonora completa.
Dialogo a due speaker · di default
- Carica un'immagine che mostra entrambe le persone nel frame usando l'immagine di partenza. Aggiungi due tracce vocali, una per ciascun speaker, a Voice A e Voice B. Il progetto di esempio instrada la prima battuta alla donna a sinistra, quindi la seconda battuta all'uomo a destra.
- I nodi SAM 3.1 rilevano ciascuna persona e producono due maschere. Cambia i brevi prompt di testo che leggono "woman" e "man" per adattarli alla tua foto se necessario. Usa le anteprime delle maschere per confermare che i volti a sinistra e a destra siano separati chiaramente.
- I prompt Positivi e Negativi forniscono indicazioni di alto livello per la fotocamera e la qualità. Mantienili descrittivi e fattuali per mantenere l'identità e la continuità dell'illuminazione.
- La lunghezza del segmento e la sovrapposizione controllano quanti fotogrammi vengono generati per passata e quanto fluidamente si fondono i segmenti. Segmenti più lunghi riducono il numero di passate e più sovrapposizione ammorbidisce le transizioni.
- Metti in coda il canvas per generare e salvare il video del dialogo. Due nodi Salva Video usano prefissi di nome file diversi in modo che i rendering di dialogo e monologo non si sovrascrivano a vicenda.
Monologo a un solo speaker · bypassato di default
- Carica un'immagine di riferimento di una sola persona e un file audio. La stessa traccia vocale guida la durata, il condizionamento e la colonna sonora finale.
- Il nodo LongCat a un solo speaker usa l'intera immagine, quindi non è necessaria alcuna mascheratura. Mantieni il soggetto frontale con moderato spazio sopra la testa per la migliore leggibilità delle labbra.
- Regola i prompt Positivi e Negativi per adattarli al tuo stile on-camera. Quindi metti in coda il canvas per renderizzare e salvare il video del monologo.
Passaggio tra le modalità
- Nel menu Gruppi, esegui solo un gruppo alla volta. Imposta la modalità che desideri su "Always" e imposta l'altra su "Bypass". Quando torni al Dialogo, mantieni l'OPSD opzionale bypassato a meno che tu non voglia specificamente quella variante.
Nodi chiave nel flusso di lavoro di LongCat Video Avatar 1.6 ComfyUI#
LongCatAvatarToVideo (#100) · Dialogo
- Il generatore principale per scene a due speaker. Prende l'immagine di partenza, due tracce audio codificate e due maschere SAM in modo che ciascuna voce animi il volto corretto. Sintonizza solo ciò che conta: lunghezza del segmento rispetto alla sovrapposizione per la fluidità temporale e forza audio se hai bisogno di una migliore articolazione delle labbra. Il nodo riceve anche un offset del fotogramma dal ciclo in modo che ciascun segmento si posizioni correttamente nel tempo. Vedi l'introduzione del nodo nativo per i dettagli. ComfyUI PR
LongCatAvatarToVideo (#300) · Monologo
- La variante a un solo speaker guida un volto da una traccia audio. Usalo quando è visibile solo un soggetto. Si applica la stessa guida: regola la lunghezza del segmento e la sovrapposizione per la lunghezza del tuo script, e mantieni la forza audio moderata per bilanciare l'accuratezza delle labbra e la stabilità facciale. ComfyUI PR
SAM3_Detect (#147) maschera Speaker A e SAM3_Detect (#150) maschera Speaker B
- Questi rilevano le persone nell'immagine di partenza e producono maschere pulite. Accettano brevi etichette di testo, che puoi cambiare per riflettere i tuoi soggetti. Se le maschere sanguinano, sposta i prompt o fornisci semplici riquadri o punti; usa le anteprime delle maschere integrate per verificare la separazione. Per il background di SAM, vedi il documento originale e il repository. Paper · Repo
StartLoop · Segmenti (sottografo "Loop Start")
- Automatizza script lunghi calcolando quanti segmenti sono necessari dalla durata dell'audio, lunghezza del segmento e sovrapposizione. Incrementa il seed tra le passate per la variazione naturale e produce un offset del fotogramma in modo che ogni passata inizi alla posizione temporale corretta. Il loop alimenta i fotogrammi precedenti nella generazione per mantenere la continuità tra i tagli.
SamplerCustom si abbina a BasicScheduler e SplitSigmas
- Il flusso di lavoro utilizza un campionatore a due stadi per segmento, operando su intervalli di rumore più alti e poi più bassi per la stabilità del movimento. Mantieni il campionatore e la pianificazione di default a meno che tu non abbia un motivo per sperimentare; la configurazione fornita corrisponde al comportamento ufficiale del rilascio di LongCat. Weights · Model card
Extra opzionali#
- Identità al primo posto. Usa un riferimento nitido, frontale con labbra neutrali e illuminazione coerente. Piccole rotazioni della testa vanno bene; grandi inclinazioni o occlusioni riducono la chiarezza delle labbra.
- Configurazione del dialogo. Se i tuoi speaker si sovrappongono o si incrociano, regola i prompt SAM o perfeziona le maschere in modo che ogni voce controlli solo un volto.
- Preparazione audio. Usa file WAV puliti e mono senza riduzione pesante del rumore. Taglia i silenzi iniziali e finali per mantenere il tempo stretto.
- Prompting. Mantieni i prompt Positivi concreti e a livello di scena. Usa il prompt Negativo per escludere artefatti come sovraesposizione, tremolio o bocca congelata.
- Varianti. La miscela OPSD opzionale è fornita per la sperimentazione ma è bypassata di default per rispecchiare il flusso di lavoro pubblicato. Weights
Riconoscimenti#
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo il team Meituan LongCat per il modello LongCat-Video-Avatar 1.6, Comfy-Org per i pesi LongCat-Video-Avatar per ComfyUI, e Comfy-Org/ComfyUI per i nodi nativi LongCat Avatar e il flusso di lavoro di origine per i loro contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati sotto.
Risorse#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- Documenti / Note di rilascio: LongCat-Video-Avatar-1.6 Tech Report (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — Supporto LongCatAvatar (CORE-720)
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
Nota: L'uso dei modelli, dei dataset e del codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.
