Wan 2.2 Prompt Relay | Criador de Vídeos Controlados por Cena

Wan 2.2 Prompt Relay: imagem controlada por linha do tempo para vídeo em ComfyUI#

Este fluxo de trabalho traz direção de cena em nível de segmento para Wan 2.2 de imagem para vídeo. Ele usa Wan 2.2 para geração e o método Prompt Relay para rotear diferentes prompts através de uma única linha do tempo, permitindo que você transfira o controle de uma cena para a próxima sem cortar a renderização. O resultado é um vídeo de múltiplos eventos suave, onde cada segmento segue seu próprio prompt enquanto a identidade e o estilo do objeto permanecem consistentes.

Wan 2.2 Prompt Relay é uma técnica de roteamento no momento da inferência, não um modelo independente ou LoRA. O gráfico é projetado para a nuvem RunComfy e inclui uma cadeia de amostragem em duas etapas, além de interpolação de quadros RIFE opcional. Use-o quando quiser controle temporal apertado de cena com configuração mínima: forneça uma imagem inicial, defina um prompt global e prompts por segmento, defina o comprimento do vídeo e renderize.

Modelos principais no fluxo de trabalho Comfyui Wan 2.2 Prompt Relay#

• Modelo de difusão de imagem para vídeo Wan 2.2 14B. Variantes de alto ruído e baixo ruído são combinadas para equilibrar movimento e detalhe em uma passagem de duas etapas. Os modelos estão disponíveis no conjunto reembalado Comfy-Org no Hugging Face. Comfy-Org/Wan_2.2_ComfyUI_Repackaged
• Codificador de texto UMT5-XXL para Wan. Este codificador traduz seus prompts globais e locais em condicionamento usado pelo Wan 2.2. Comfy-Org/Wan_2.1_ComfyUI_repackaged
• Wan 2.1 VAE. Usado para decodificar latentes de volta para quadros após a amostragem. Comfy-Org/Wan_2.2_ComfyUI_Repackaged/vae
• Modelo de interpolação de quadros RIFE (opcional). Aumenta a suavidade temporal ou a taxa de quadros alvo após a geração. hzwer/Practical-RIFE

Como usar o fluxo de trabalho Comfyui Wan 2.2 Prompt Relay#

O fluxo de trabalho roteia prompts de texto ao longo do tempo, gera um vídeo latente a partir de uma imagem inicial, depois refina e decodifica quadros antes da interpolação e codificação opcionais. Ele é organizado em alguns grupos claros que cooperam para produzir o MP4 final.

• Passo 1 - Carregar modelos Esta seção inicializa Wan 2.2, o codificador de texto e o VAE. Os modelos Wan de alto ruído e baixo ruído são ambos preparados para que o pipeline possa primeiro estabelecer movimento, depois melhorar o detalhe. Se um LoRA estiver presente, ele é aplicado ao modelo base antes da amostragem. Você não precisa alterar nada aqui, a menos que queira trocar pontos de verificação.
• Passo 2 - Carregar start_image Importe uma única imagem de referência que define a composição, identidade do sujeito e iluminação para o primeiro quadro usando LoadImage (#85). A imagem inicial ancora o visual do vídeo e ajuda a manter a continuidade entre os segmentos. Use uma referência limpa e no modelo para obter os melhores resultados. Substitua-a sempre que quiser um sujeito ou layout diferente.
• Passo 3 - Tamanho e comprimento do vídeo Defina a resolução alvo e a contagem total de quadros no inicializador de vídeo latente (EmptyHunyuanLatentVideo (#121)) e mantenha-a consistente com seu plano de segmento. A soma dos comprimentos de seus segmentos deve igualar o total de quadros. Combine a taxa de quadros que você pretende exportar com as configurações do Prompt Relay e o escritor de vídeo mais tarde no gráfico.
• Lightx2v + i2v O caminho de renderização principal usa uma cadeia de amostragem em duas etapas. A primeira etapa com o modelo de alto ruído estabelece movimento e transições de cena. A segunda etapa com o modelo de baixo ruído refina detalhe e textura enquanto preserva o caminho do movimento da primeira etapa. Esta combinação é o que torna o Wan 2.2 Prompt Relay controlável e estável para transferências de cena para cena.
• Roteamento de prompt Insira um global_prompt forte que se aplique a todo o clipe em PromptRelayEncodeTimeline (#117). Depois, defina prompts de segmento, seja como dados de linha do tempo JSON ou como uma lista separada por tubos. Prompt Relay codifica o condicionamento por quadro que muda apenas nas fronteiras dos segmentos, opcionalmente suavizando transições para transferências naturais. O nó alimenta o condicionamento do Wan e garante que cada segmento siga sua direção pretendida.
• Amostragem e decodificação O pipeline passa por WanImageToVideo (#79), depois um KSamplerAdvanced grosseiro (#73) seguido por um KSamplerAdvanced fino (#83). Os quadros são decodificados com VAEDecode (#74) e escritos em vídeo com VHS_VideoCombine (#108). Opcionalmente, use RIFE VFI (#131) antes de um segundo VHS_VideoCombine (#132) se você quiser um movimento mais suave ou uma taxa de quadros de saída mais alta.

Nós principais no fluxo de trabalho Comfyui Wan 2.2 Prompt Relay#

• PromptRelayEncodeTimeline (#117) Central para Wan 2.2 Prompt Relay, este nó transforma seu global_prompt e prompts por segmento em um fluxo de condicionamento positivo ciente do tempo. Você pode criar segmentos nos dados de linha do tempo timeline_data JSON ou em local_prompts usando uma sintaxe de tubo. Use max_frames para igualar o comprimento do vídeo, escolha time_units que se alinhem com seu plano e ajuste epsilon para suavizar ou endurecer transferências de prompt entre segmentos. Mantenha fps consistente com sua exportação final.
• WanImageToVideo (#79) Converte a imagem inicial mais o condicionamento em uma linha do tempo latente inicial para Wan 2.2. Conecte sua referência inicial a start_image e mantenha largura, altura e comprimento alinhados com o inicializador latente. O condicionamento negativo neste gráfico é intencionalmente zerado para reduzir a superconstrição e manter a identidade estável; introduza um prompt negativo explícito apenas se você vir artefatos recorrentes que deseja suprimir.
• KSamplerAdvanced (#73) Amostrador de primeira passagem que enfatiza movimento e layout. Funciona com o modelo Wan de alto ruído configurado via ModelSamplingSD3 para explorar trajetória enquanto respeita o condicionamento do Prompt Relay. Ajuste steps e cfg para a força da orientação, e mantenha um noise_seed fixo quando quiser movimento reprodutível entre iterações de edição.
• KSamplerAdvanced (#83) Amostrador de segunda passagem que aprimora detalhe e consistência temporal usando o modelo Wan de baixo ruído. Refina textura, bordas e micro-movimento sem lutar contra a trajetória grosseira estabelecida pela primeira passagem. Se você aumentar a fidelidade aqui, considere equilibrar a orientação para evitar o excesso de nitidez que pode desestabilizar o movimento.
• EmptyHunyuanLatentVideo (#121) Cria o vídeo latente em branco que define resolução espacial, orçamento de quadros e tamanho do lote. Defina quadros totais para a soma de todos os comprimentos de segmento para que o Prompt Relay possa mapear prompts de forma limpa. Alterar a resolução afeta a memória e o visual da cadência do movimento, então escale com cuidado.
• VHS_VideoCombine (#108, #132) Codifica quadros para MP4. Combine frame_rate com o fps do Prompt Relay quando não estiver usando interpolação. Se você usar RIFE VFI, defina a taxa de quadros do escritor para o novo fps efetivo. Ajuste crf para o equilíbrio entre tamanho e qualidade.

Extras opcionais#

• Escreva o global_prompt para bloquear tom, linguagem de câmera e tags de qualidade, depois mantenha os prompts de segmento curtos e focados em ação.
• Certifique-se de que a soma de seus comprimentos de segmento seja igual ao comprimento do vídeo para evitar desalinhamento de prompt.
• Mantenha sementes fixas enquanto itera em prompts, depois randomize sementes apenas quando quiser uma nova abordagem.
• Use imagens iniciais mais altas ou mais largas para sugerir preferência de aspecto, mas sempre defina largura e altura explícitas para previsibilidade.
• Se você perceber deriva de identidade entre segmentos, fortaleça o global_prompt com descritores de objetos salientes e simplifique prompts locais.

Recursos para explorar os componentes usados aqui:

• Nó Prompt Relay para ComfyUI por kijai GitHub
• Modelos Wan 2.2 reembalados Hugging Face
• Codificador de texto UMT5-XXL reembalado para Wan 2.x Hugging Face

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos a kijai pelo nó ComfyUI-PromptRelay, gordonchen19 pelo projeto Prompt-Relay, e Comfy-Org pelos modelos Wan_2.2_ComfyUI_Repackaged por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• YouTube/Workflow @Ai Verse source tutorial
  • Docs / Release Notes: @Ai Verse Workflow source tutorial
• AI Verse/AI Verse workflow page
  • Docs / Release Notes: AI Verse workflow page
• kijai/ComfyUI-PromptRelay node repo
  • GitHub: kijai/ComfyUI-PromptRelay
• gordonchen19/Prompt Relay project page
  • GitHub: gordonchen19/Prompt-Relay
  • Docs / Release Notes: Prompt Relay project page
• Comfy-Org/Wan 2.2 ComfyUI repackaged models
  • Hugging Face: Comfy-Org/Wan_2.2_ComfyUI_Repackaged (split_files)

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.