Fluxo de trabalho de vídeo LTX 2.3 Inpaint para edições precisas guiadas por máscara
Este fluxo de trabalho ComfyUI traz edição de vídeo direcionada para LTX‑2.3 combinando o modelo base com o LTX 2.3 Inpaint LoRA. Você define uma máscara sobre a região a ser alterada, então o pipeline regenera apenas essa área enquanto preserva movimento, identidade, iluminação e consistência temporal no resto da cena. É ideal para remover artefatos, substituir objetos, refinar detalhes ou inserir novos elementos sem re-renderizar toda a sequência.
LTX 2.3 Inpaint é integrado de ponta a ponta: carregue um vídeo de referência, crie ou gere automaticamente máscaras, guie o modelo com quadros mascarados, amostre uma passagem inicial, depois refine com um upscaler latente e uma segunda passagem de inpaint opcional. O áudio é suportado e pode ser passado ou gerado como silêncio para combinar com a duração do clipe editado.
Modelos principais no fluxo de trabalho LTX 2.3 Inpaint no ComfyUI
- LTX‑2.3 22B Transformer Only (dev ou distillado). O transformador de difusão de vídeo central que sintetiza quadros temporalmente coerentes a partir de texto e guias. Use a versão distillada para inferência mais rápida em 8 etapas. Hugging Face: Lightricks/LTX‑2.3 e GitHub: LTX‑2
- LTX 2.3 Inpaint LoRA. Um LoRA de edição ajustado para LTX‑2.3 que foca a geração dentro da região mascarada para que você possa remover, substituir ou refinar conteúdo enquanto mantém o movimento de fundo estável. Hugging Face: Alissonerdx/LTX‑LoRAs
- Gemma 3 12B Instruct text encoder + LTX‑2.3 text projection. Fornece embeddings de texto alinhados para o transformador LTX‑2.3 durante o condicionamento de prompt. Pesos pré-embalados são fornecidos para uso no ComfyUI. Hugging Face: Comfy‑Org/ltx‑2 (arquivos divididos)
- LTX‑2.3 Video VAE e Audio VAE. Comprimem e decodificam latentes de vídeo e áudio usados pelo transformador e módulos de áudio, permitindo amostragem eficiente e saída sincronizada. Binários curados estão disponíveis para ComfyUI. Coleção Hugging Face
- LTX‑2.3 Spatial Upscaler x2 e Temporal Upscaler x2. Upscalers latentes opcionais que elevam o detalhe espacial e estabilizam a dinâmica temporal em uma segunda passagem sem alterar o conteúdo. Hugging Face: Lightricks/LTX‑2.3
- Segment Anything 2 (SAM 2). Usado para geração automática de máscara guiada por ponto diretamente nos quadros de vídeo, acelerando a configuração do LTX 2.3 Inpaint. GitHub: facebookresearch/segment‑anything‑2
Como usar o fluxo de trabalho LTX 2.3 Inpaint no ComfyUI
O fluxo de trabalho é executado em dois estágios coordenados. Primeiro, ele cria um fluxo de controle mascarado a partir do seu vídeo de entrada e produz uma primeira passagem editada. Em segundo lugar, refina a qualidade com upscaling latente e, quando ativado, uma passagem de inpaint em alta resolução mascarada.
Configurações de Vídeo
Este grupo calcula o comprimento do clipe e a cadência de quadros para o LTX 2.3 Inpaint. Defina FPS e Duração (Segundos) para definir o tempo; o gráfico calcula total_frames de acordo. O fluxo de trabalho também permite que você escolha a dimensão mais longa da imagem como sua resolução alvo, depois redimensiona as entradas consistentemente para que prompts, máscaras e guias estejam alinhados.
Entradas
Carregue um clipe de referência curto com VHS_LoadVideo e deixe o gráfico pré-escalar os quadros para sua resolução escolhida. O pipeline salva uma cópia interna chamada input_video para criação de máscara e um control_video que guiará o LTX 2.3 Inpaint durante a amostragem. Você pode visualizar o fluxo de controle a qualquer momento para confirmar enquadramento e cadência.
Segmentação
Escolha como construir máscaras para o LTX 2.3 Inpaint. Use Sam2Segmentation (#800) para máscaras automáticas baseadas em ponto ou dirija-o com o PointsEditor (#860) para controle fino. Pós-processar o resultado com GrowMaskWithBlur para adicionar uma pequena margem de segurança e BlockifyMask para reduzir bordas ruidosas; o fluxo de trabalho armazena a saída limpa como final_masks.
Pré-visualização de vídeo de controle
O gráfico compõe sua região mascarada sobre um quadro neutro para que o modelo “veja” apenas o que precisa ser alterado. ImageCompositeFromMaskBatch+ cria os quadros guia mascarados, e VHS_VideoCombine pré-visualiza a sequência na sua FPS alvo. Este fluxo de controle focado é a espinha dorsal do LTX 2.3 Inpaint e ajuda a preservar o conteúdo não mascarado.
Prompt
Escreva o que você deseja que apareça após a edição e mantenha aspectos inalterados explícitos. Use o codificador principal Manual Prompt (#389) para positivos e o codificador negativo incluído para supressores de qualidade como desfoque e marcas d'água. Bons prompts de LTX 2.3 Inpaint descrevem o novo objeto, seus materiais, escala e como deve se encaixar na composição e iluminação existentes.
Gerar Baixa Resolução
A primeira passagem vincula prompts e seus quadros de controle à orientação do modelo. LTXVAddGuideMulti (#440) anexa o guia mascarado ao condicionamento, CFGGuider (#396) equilibra a adesão ao seu texto, e SamplerCustomAdvanced (#382) executa inferência com o sampler e o scheduler selecionados. O resultado é um clipe editado temporalmente coerente que já respeita sua máscara LTX 2.3 Inpaint.
Upscale Latente
Se você deseja mais detalhes sem alterar o conteúdo, ative o upsampler. LTXVLatentUpsampler (#818) aplica o upscaler espacial LTX em espaço latente e decodifica com VAEDecodeTiled para reconstrução eficiente em memória. Você pode comparar antes e depois com os nós de combinação lado a lado integrados.
Gerar Alta Resolução
Para maior fidelidade de inpaint guiada pela primeira passagem, o fluxo de trabalho corta e reanexa guias com LTXVAddGuideMulti (#877) e amostras com SamplerCustomAdvanced (#816). Esta etapa ainda é consciente de máscara e manterá o movimento da cena estável enquanto adiciona bordas nítidas e texturas melhores. É a maneira preferida de finalizar tomadas LTX 2.3 Inpaint quando o tempo permite.
Troca de Máscara
Um simples Automatic Segmentation switch roteia máscaras manuais ou automáticas no caminho de inpaint. Use automático quando os alvos estiverem bem separados do fundo e mude para pontos manuais quando as bordas forem complexas ou quando você precisar de controle cirúrgico sobre o comportamento do LTX 2.3 Inpaint. A seleção limpa é armazenada como final_masks para reutilização.
Segunda passagem de Inpaint Mascarado
Um ramo de inpaint de alta resolução dedicado leva a máscara ainda mais longe. SetLatentNoiseMask (#1010) injeta ruído apenas onde a máscara está ativa para que o modelo reamostre a região editada enquanto congela tudo o mais. Esta passagem é ideal para substituir rótulos, corrigir pequenos artefatos ou trocar adereços com máximo bloqueio de composição.
Áudio
Você pode carregar seu próprio áudio ou deixar o gráfico gerar uma cama silenciosa que corresponda ao comprimento do clipe. O áudio é codificado para latentes para sincronização, opcionalmente pré-visualizado, depois muxado de volta ao salvar. Se preferir apenas visuais enquanto refina as configurações do LTX 2.3 Inpaint, basta manter o caminho silencioso ativado.
Exportações e comparação
Nós de pré-visualização mostram o fluxo de controle, a passagem 1 e as saídas refinadas na sua FPS alvo para QC rápido. Vídeos de comparação lado a lado são gerados automaticamente para que você possa avaliar como o LTX 2.3 Inpaint afetou as áreas mascaradas em comparação com o original.
Nós principais no fluxo de trabalho LTX 2.3 Inpaint no ComfyUI
LoraLoaderModelOnly (#419)
Anexa o LTX 2.3 Inpaint LoRA ao transformador LTX‑2.3 carregado para que as edições permaneçam localizadas na máscara. Aumente força para inclinar mais para o comportamento de inpaint ou reduza para permitir que o modelo base influencie mais o estilo. Mantenha a força consistente entre as passagens para evitar desvio de aparência. Cartões de modelo de referência: LTX‑2.3, LTX 2.3 Inpaint LoRA.
Sam2Segmentation (#800)
Gera máscaras de objetos limpas a partir de pontos positivos no seu input_video. Alimente pontos do PointsEditor (#860) para travar rapidamente no alvo, depois refine com crescimento de máscara e blockify. Máscaras confiáveis reduzem o sangramento de cores e fazem o LTX 2.3 Inpaint convergir mais rapidamente. Página do projeto: Segment Anything 2.
SetLatentNoiseMask (#417)
Aplica sua máscara binária diretamente ao latente para que apenas a região selecionada seja reamostrada. Expanda ligeiramente a máscara com GrowMaskWithBlur se você vir costuras na borda, ou aumente o tamanho do bloco se detalhes muito finos estiverem piscando. Este nó é central para manter o conteúdo não mascarado perfeitamente estável entre os quadros.
LTXVAddGuideMulti (#440)
Funde os quadros de controle mascarados com o condicionamento de texto para que o modelo seja guiado tanto pelo seu prompt quanto pelo que mudou espacialmente. Ele também suporta corte para focar o cálculo na área relevante. Use-o em passagens de baixa e alta resolução para manter o comportamento consistente do LTX 2.3 Inpaint.
LTXVLatentUpsampler (#818)
Aumenta a escala de latentes com os modelos dedicados x2 do LTX, depois decodifica com VAE em blocos para eficiência de memória. Melhora bordas, microtexturas e pequenos textos sem reinterpretar o layout da cena. Use após uma primeira passagem bem-sucedida para aumentar a qualidade enquanto mantém o tempo e a identidade estáveis.
CFGGuider (#396)
Controla quão fortemente o modelo deve seguir prompts e guias. Valores mais baixos reduzem o ajuste excessivo ao texto e podem preservar movimentos sutis, enquanto valores mais altos impõem uma adesão mais forte dentro da máscara. Ajuste isso junto com a força do LoRA quando o LTX 2.3 Inpaint parecer muito livre ou muito restrito.
BasicScheduler (#575)
Define o cronograma de ruído usado pelo sampler. O cronograma bong_tangent incluído é suportado através dos nós RES4LYF; instale-os se você quiser esse comportamento exato. Referência: RES4LYF nodes.
SamplerCustomAdvanced (#382)
Executa o loop de denoising com o preset de sampler escolhido. Use o mesmo sampler em passagens para a aparência mais consistente do LTX 2.3 Inpaint. Combine com sigmas manuais ou básicos para ajustar o fluxo de ruído se precisar de estabilidade extra.
Extras opcionais
- Prompting para LTX 2.3 Inpaint: descreva o novo objeto com precisão, inclua material, cor, escala e como deve se encaixar na iluminação existente; mantenha negativos ativos para suprimir desfoque ou sobreposições.
- Dicas de máscara: dê uma pequena expansão às máscaras para cobrir bordas suaves naturais; prefira alguns pontos confiantes para SAM 2 em vez de muitos incertos.
- Desempenho: use o fator de downscale para iterar rapidamente em máscaras e prompts, depois volte à escala total para passagens finais e upscaling latente.
- Consistência: mantenha a força do LoRA, CFG e escolhas de sampler estáveis entre passagens para minimizar mudanças temporais ou de estilo.
Agradecimentos
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos Alissonerdx pelo LTX 2.3 Inpaint Workflow Source por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.
Recursos
- Alissonerdx/LTX 2.3 Inpaint Workflow Source
- Hugging Face: Alissonerdx/LTX-LoRAs
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às licenças e termos respectivos fornecidos por seus autores e mantenedores.