LongCat Video Avatar 1.6 ComfyUI Workflow#
O fluxo de trabalho LongCat Video Avatar 1.6 ComfyUI transforma uma única imagem de referência e uma ou duas faixas de voz em um MP4 limpo e sincronizado com os lábios. Ele vem com dois grupos de canvas: um diálogo padrão de dois falantes que atribui vozes a rostos com máscaras SAM 3.1, e um monólogo de um único falante para apresentadores ou personagens. Criadores, educadores e equipes de produto podem rapidamente produzir avatares falantes com identidade estável, formas naturais da boca e movimento suave da cabeça.
Nos bastidores, o gráfico segmenta scripts mais longos em pequenos pedaços sobrepostos, gera quadros para cada pedaço com o LongCat Video Avatar 1.6, corta a sobreposição e depois costura os segmentos de volta enquanto anexa a trilha sonora completa. O resultado é um vídeo suave e preciso na voz que respeita seu prompt e composição.
Modelos principais no fluxo de trabalho LongCat Video Avatar 1.6 ComfyUI#
- Meituan LongCat Video Avatar 1.6. Modelo de avatar central que transforma características de fala mais uma imagem de identidade em quadros sincronizados com os lábios enquanto preserva a aparência. Model card
- Adaptadores LongCat Video Avatar (DMD e OPSD) embalados para ComfyUI. Adaptadores opcionais que alinham o comportamento de amostragem com o pipeline lançado. Pesos
- Codificador Whisper Large V3. Extrai características robustas de fala que impulsionam formas da boca e coarticulação. Modelo
- Família Segment Anything (SAM). Fornece máscaras de pessoa de alta qualidade para que cada faixa de voz anime o rosto correto em cenas de diálogo. Repositório
Como usar o fluxo de trabalho LongCat Video Avatar 1.6 ComfyUI#
Fluxo geral
- Escolha um grupo para executar. O gráfico divide o áudio em segmentos sobrepostos, gera quadros para cada segmento com LongCat, decodifica-os em imagens, elimina a sobreposição repetida e concatena os segmentos em um único vídeo com sua trilha sonora completa.
Diálogo de Dois Falantes · padrão
- Carregue uma imagem mostrando ambas as pessoas no quadro usando a imagem de início. Adicione duas faixas de voz, uma por falante, a Voice A e Voice B. O projeto de amostra roteia a primeira linha para a mulher à esquerda, depois a segunda linha para o homem à direita.
- Nós SAM 3.1 detectam cada pessoa e produzem duas máscaras. Altere os prompts de texto curtos que lêem mulher e homem para corresponder à sua foto, se necessário. Use as pré-visualizações das máscaras para confirmar que os rostos à esquerda e à direita estão separados de forma limpa.
- Prompts Positivos e Negativos fornecem orientação de câmera e qualidade em alto nível. Mantenha-os descritivos e factuais para manter a identidade e a continuidade da iluminação.
- Comprimento do segmento e sobreposição controlam quantos quadros são gerados por passagem e quão suavemente os segmentos se misturam. Segmentos mais longos reduzem o número de passagens, e mais sobreposição suaviza as transições.
- Enfileire o canvas para gerar e salvar o vídeo de diálogo. Dois nós Salvar Vídeo usam diferentes prefixos de nome de arquivo para que os renderizados de diálogo e monólogo não se sobreponham.
Monólogo de Um Único Falante · ignorado por padrão
- Carregue uma imagem de referência de uma única pessoa e um arquivo de áudio. A mesma faixa de voz dirige a duração, o condicionamento e a trilha sonora final.
- O nó LongCat de um único falante usa a imagem inteira, portanto, não é necessário mascaramento. Mantenha o sujeito voltado para a frente com espaço moderado acima da cabeça para melhor legibilidade dos lábios.
- Ajuste os Prompts Positivos e Negativos para corresponder ao seu estilo de câmera. Em seguida, enfileire o canvas para renderizar e salvar o vídeo do monólogo.
Alternando entre modos
- No menu Grupos, execute apenas um grupo por vez. Defina o modo que deseja como Sempre e o outro como Ignorar. Ao retornar ao Diálogo, mantenha a mistura OPSD Opcional ignorada, a menos que você especificamente queira essa variante.
Nós principais no fluxo de trabalho LongCat Video Avatar 1.6 ComfyUI#
LongCatAvatarToVideo (#100) · Diálogo
- O gerador central para cenas de dois falantes. Ele leva a imagem de início, duas faixas de áudio codificadas e duas máscaras SAM para que cada voz anime o rosto correto. Ajuste apenas o que importa: comprimento do segmento versus sobreposição para suavidade temporal, e força do áudio se precisar de articulação de boca mais nítida. O nó também recebe um deslocamento de quadro do loop para que cada segmento caia na posição correta no tempo. Veja a introdução do nó nativo para mais informações. ComfyUI PR
LongCatAvatarToVideo (#300) · Monólogo
- A variante de um único falante anima um rosto a partir de uma faixa de áudio. Use-o quando apenas um sujeito estiver visível. Aplica-se a mesma orientação: ajuste o comprimento do segmento e a sobreposição para o comprimento do seu script, e mantenha a força do áudio moderada para equilibrar a precisão dos lábios e a estabilidade facial. ComfyUI PR
SAM3_Detect (#147) máscara do Falante A e SAM3_Detect (#150) máscara do Falante B
- Estes detectam pessoas na imagem de início e produzem máscaras limpas. Eles aceitam rótulos de texto breves, que você pode mudar para refletir seus sujeitos. Se as máscaras vazarem, ajuste os prompts ou forneça caixas simples ou pontos; use as pré-visualizações de máscara embutidas para verificar a separação. Para informações sobre SAM, veja o artigo original e o repositório. Artigo · Repositório
StartLoop · Segmentos (subgráfico “Loop Start”)
- Automatiza scripts longos calculando quantos segmentos são necessários a partir da duração do áudio, comprimento do segmento e sobreposição. Ele incrementa a semente entre passagens para variação natural e fornece um deslocamento de quadro para que cada passagem comece na posição correta da linha do tempo. O loop alimenta quadros anteriores de volta na geração para manter a continuidade entre cortes.
SamplerCustom emparelha com BasicScheduler e SplitSigmas
- O fluxo de trabalho usa um sampler de duas etapas por segmento, operando em faixas de ruído mais altas e depois mais baixas para estabilidade de movimento. Mantenha o sampler e o cronograma padrão, a menos que você tenha um motivo para experimentar; a configuração enviada corresponde ao comportamento de lançamento oficial do LongCat. Pesos · Model card
Extras opcionais#
- Identidade primeiro. Use uma referência nítida, voltada para a frente, com lábios neutros e iluminação consistente. Pequenas viradas de cabeça são aceitáveis; grandes rotações ou obstruções reduzem a clareza dos lábios.
- Configuração de diálogo. Se seus falantes se sobrepuserem ou cruzarem, ajuste os prompts SAM ou refine as máscaras para que cada voz controle apenas um rosto.
- Preparação de áudio. Use arquivos WAV mono limpos, sem redução de ruído pesada. Corte silêncios iniciais e finais para manter o tempo apertado.
- Prompt. Mantenha os Prompts Positivos concretos e em nível de cena. Use o Prompt Negativo para descartar artefatos como superexposição, tremor ou boca congelada.
- Variantes. A mistura OPSD Opcional é fornecida para experimentação, mas é ignorada por padrão para espelhar o pipeline publicado. Pesos
Agradecimentos#
Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos a equipe Meituan LongCat pelo modelo LongCat-Video-Avatar 1.6, Comfy-Org pelos pesos do LongCat-Video-Avatar para ComfyUI, e Comfy-Org/ComfyUI pelos nós nativos do LongCat Avatar e fluxo de trabalho fonte por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- Docs / Notas de Lançamento: LongCat-Video-Avatar-1.6 Tech Report (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — Support LongCatAvatar (CORE-720)
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
