LTX 2.3 Sulphur 2 Prompt Relay Workflow | Criador de Vídeo Cinematográfico

LTX 2.3 Sulphur 2 Prompt Relay workflow: sequenciamento de micro-ações de imagem para vídeo no ComfyUI#

Este fluxo de trabalho do ComfyUI transforma uma única imagem de referência mais um prompt de movimento segmentado em um clipe cinematográfico curto. Combina a geração de vídeo destilada LTX-2.3 com um Sulphur 2 motion LoRA e codificação inteligente Prompt Relay, para que você possa descrever micro-ações como uma sequência em vez de depender de um prompt plano. O gráfico está pré-configurado para latentes de áudio sincronizados, um exemplo de imagem para vídeo em rua chuvosa validado e entradas/saídas normalizadas para reprodução direta na nuvem.

Use este fluxo de trabalho LTX 2.3 Sulphur 2 Prompt Relay quando quiser uma âncora visual firme em um quadro de referência e movimento controlado que se desdobra batida a batida. Cineastas, editores e designers de movimento podem definir "batidas" como "anda sob a chuva | penteia o cabelo | vira e acena | sai" e obter movimento e enquadramento coerentes em todo o plano.

Modelos principais no fluxo de trabalho Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

• Modelo de base audio-visual LTX-2.3 (destilado, apenas transformer). Gera vídeo e tokens de áudio sincronizados em uma única passagem de difusão; este fluxo de trabalho usa a variante destilada 22B empacotada para ComfyUI. Pesos: Lightricks/LTX-2.3 e nós/utilitários: Lightricks/ComfyUI-LTXVideo. Veja também o histórico de pesquisa em LTX-Video e o artigo LTX-Video: Realtime Video Latent Diffusion.
• Par VAE de vídeo LTX-Video (VAE de vídeo + VAE de áudio). Codifica/decodifica quadros de vídeo latentes e o fluxo de áudio usado para alinhamento de tempo. Arquivos VAE pré-construídos adequados para ComfyUI estão disponíveis nos pacotes LTX-2.3, por exemplo Kijai/LTX2.3_comfy e o repositório oficial ComfyUI-LTXVideo.
• Codificador de texto baseado em Gemma e projeção de texto LTX. Fornece compreensão de prompt de longo contexto para LTX-2.3 via codificadores estilo CLIP e uma camada de projeção específica do modelo incluída com a integração LTX. Veja codificador e configurações em ComfyUI-LTXVideo.
• Sulphur 2 motion LoRA (opcional). Um ajuste fino carregado como um LoRA para influenciar o ritmo e a continuidade do movimento de imagem para vídeo. Combina bem com Prompt Relay quando você deseja controle explícito de batida a batida.

Como usar o fluxo de trabalho Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

O fluxo de trabalho segue um caminho claro de imagem de referência para configuração latente, modelo e LoRAs, sequenciamento de prompt, amostragem, depois decodificação e exportação. Substitua as entradas de demonstração pelas suas e concentre-se nos poucos controles destacados abaixo.

• Imagem de referência e dimensionamento
  • LoadImage (#620) permite escolher a imagem âncora. O próximo nó, ImageScaleByAspectRatio V2 (#621), ajusta-a à tela de trabalho enquanto mantém a composição estável. LTXVPreprocess (#586) aplica pré-processamento amigável ao LTX para que o primeiro quadro trave no assunto, iluminação e paleta. Use uma referência limpa e bem iluminada que já corresponda ao enquadramento desejado.
• Configuração latente (vídeo + áudio)
  • EmptyLTXVLatentVideo (#577) define o tamanho da tela e o comprimento do plano. Get_video_vae (#583) e LTXVImgToVideoInplaceKJ (#617) injetam a imagem estática de referência diretamente no vídeo latente para que o visual permaneça consistente desde o primeiro quadro. Em paralelo, Get_audio_vae (#576) com LTXVEmptyLatentAudio (#547) cria um latente de áudio sincronizado (silencioso por padrão) para manter o tempo alinhado. LTXVConcatAVLatent (#548) mescla ambos os fluxos para difusão unificada.
• Carregamento de modelo e controle de movimento
  • UNETLoader (#632) carrega o transformer destilado LTX-2.3. A pilha LoRA adiciona comportamento: LoraLoaderModelOnly (#630) aplica um auxiliar destilado LTX, LoraLoaderModelOnly (#628) carrega o Sulphur 2 motion LoRA, e LoraLoaderModelOnly (#606) pode adicionar um estabilizador I2V. PathchSageAttentionKJ (#542) corrige a atenção para desempenho/consistência. Juntos, esses nós determinam o quão fortemente seus prompts direcionam o movimento em vez de preservar a referência.
• Sequenciamento de prompt com Prompt Relay
  • DualCLIPLoader (#416) carrega o codificador de texto. PromptRelaySmartEncode (#610) aceita um global_prompt para detalhes persistentes e um smart_prompt para a sequência de ação. Use segmentos separados por pipe como "mulher anda sob a chuva | penteia o cabelo | vira e acena | caminha para a distância," ou use cabeçalhos de bloco como "Cena 1: … Cena 2: …" para ponderar o tempo de tela. O nó distribui automaticamente o tempo pelos segmentos, para que você possa escrever batidas em vez de contar quadros. Veja a referência de sintaxe em ComfyUI-PromptRelay.
• Condicionamento e taxa de quadros
  • LTXVConditioning (#164) recebe a saída do Prompt Relay para orientação positiva e um baseline negativo mínimo (ConditioningZeroOut, #420). Também define a taxa de quadros alvo para o plano, que os nós a jusante usam para manter o tempo consistente com seu peso segmentado.
• Amostrador e pré-visualização
  • BasicScheduler (#514) molda o cronograma de ruído; KSamplerSelect (#154) escolhe o amostrador. VisualizeSigmasKJ (#358) pré-visualiza o cronograma para que você possa ver como a curva de desruído progredirá. LTX2SamplingPreviewOverride (#588) habilita pré-visualizações responsivas durante a difusão. SamplerCustom (#561) executa a difusão unificada áudio-vídeo usando seu latente AV, prompts, LoRAs e cronograma.
• Decodificação e exportação
  • LTXVSeparateAVLatent (#549) divide o latente final AV. VAEDecode (#471) produz quadros; LTXVAudioVAEDecode (#550) decodifica o latente de áudio. VHS_VideoCombine (#604) mescla quadros e áudio em um MP4 H.264 com formatação yuv420p padrão, pronto para reprodução e edição.

Nós principais no fluxo de trabalho Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

• PromptRelaySmartEncode (#610)
  • Propósito: Traduz seu “smart prompt” batida a batida em condicionamento de texto devidamente cronometrado para todo o clipe. Use global_prompt para detalhes imutáveis (estilo, assunto, iluminação) e smart_prompt para a sequência de ação. Dois estilos de autoria são suportados: segmentos em linha separados por | com tags proporcionais opcionais como [0-50], ou cabeçalhos de bloco como "Cena 1:" que ponderam segmentos por intervalo. Mantenha uma sintaxe por prompt para evitar ambiguidades. Referência: ComfyUI-PromptRelay.
• LTXVImgToVideoInplaceKJ (#617)
  • Propósito: Trava o visual do primeiro quadro e o propaga suavemente através do movimento. Se a identidade ou o guarda-roupa se desviar, aumente a aderência da imagem; se o movimento parecer restrito, diminua-a para permitir mais dinâmica. Equilibre isso com a força do seu Sulphur 2 LoRA para que a referência permaneça estável sem congelar excessivamente o movimento.
• LoraLoaderModelOnly (#628) — Sulphur 2 motion LoRA
  • Propósito: Injeta o ajuste fino Sulphur 2 para influenciar a continuidade do movimento, suavidade da trajetória e encenação de ação. Aumente strength_model para enfatizar o movimento guiado através dos segmentos; reduza-o se perceber restrição excessiva ou padrões repetidos. Ajuste em conjunto com a força ImgToVideoInplace para manter a fidelidade do assunto e a energia do movimento em harmonia.
• LTXVConditioning (#164)
  • Propósito: Consolida o condicionamento positivo/negativo para LTX-2.3 e define a taxa de quadros do clipe. Se você alongar o plano, reveja os pesos do segmento do Prompt Relay para que o tempo relativo ainda corresponda às batidas pretendidas.
• SamplerCustom (#561)
  • Propósito: Executa a passagem de desruído usando o amostrador e cronograma escolhidos. Se o movimento estiver trêmulo, experimente um cronograma ligeiramente mais suave ou um amostrador conhecido por estabilidade temporal; se os prompts subdirecionarem, aumente modestamente a orientação enquanto observa por super-saturação. Use VisualizeSigmasKJ para verificar a forma do cronograma antes de execuções longas.

Extras opcionais#

• Escrevendo micro-ações eficazes com Prompt Relay
  • Estilo em linha: "anda sob a chuva | penteia o cabelo | vira e acena | sai." Para dar mais tempo a uma ação, adicione uma tag de peso como "[0-200]" vs "[200-260]"; apenas o intervalo importa.
  • Estilo de bloco: Use cabeçalhos como "Cena 1:" e "Cena 2-4:" em suas próprias linhas. O intervalo no cabeçalho define a duração relativa, e os cabeçalhos são removidos antes da tokenização.
• Solução rápida de problemas
  • Desvio de identidade: aumente a aderência da imagem em LTXVImgToVideoInplaceKJ ou reduza o strength_model do Sulphur 2.
  • Movimento muito lento/rápido: reequilibre os intervalos dos segmentos no smart prompt para que batidas importantes tenham mais ou menos tempo.
  • Tremulação ou artefatos: experimente um amostrador e cronograma mais estáveis, ou aumente ligeiramente a orientação; mantenha um olho em super-nitidez.
• Referências úteis
  • Pesos e documentos do modelo LTX-2.3: Hugging Face: Lightricks/LTX-2.3
  • Nós ComfyUI e fluxos de exemplo: Lightricks/ComfyUI-LTXVideo
  • Sintaxe e exemplos do Prompt Relay: kijai/ComfyUI-PromptRelay
  • Auxiliares amigáveis ao LTX usados neste gráfico: kijai/ComfyUI-KJNodes

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos a Lightricks pelo LTX-Video, a Kijai pelo nó ComfyUI-PromptRelay e auxiliares ComfyUI-KJNodes, e a RunningHub e RunComfy por referências de fluxo de trabalho e configuração de Cloud Save por suas contribuições e manutenção. Para detalhes autoritativos, por favor, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• Referência de fluxo de trabalho RunningHub
  • Documentos / Notas de Lançamento: Referência de fluxo de trabalho RunningHub
• Configuração de Cloud Save RunComfy
  • Documentos / Notas de Lançamento: Configuração de Cloud Save RunComfy
• Lightricks/LTX-Video
  • GitHub: Lightricks/LTX-Video
  • Hugging Face: Lightricks/LTX-Video-0.9.7-dev
  • arXiv: arXiv:2501.00103
• kijai/ComfyUI-PromptRelay
  • GitHub: kijai/ComfyUI-PromptRelay
• kijai/ComfyUI-KJNodes
  • GitHub: kijai/ComfyUI-KJNodes

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.