Wan 2.2 VBVR no ComfyUI | Raciocínio de Vídeo Baseado em Vídeo

Wan 2.2 VBVR no ComfyUI: geração de imagem-para-vídeo consciente de raciocínio

Wan 2.2 VBVR no ComfyUI é um fluxo de trabalho pronto para produção que traz o Raciocínio Visual Baseado em Vídeo para a imagem-para-vídeo Wan 2.2. Ele aumenta o pipeline padrão de Mistura de Especialistas Wan 2.2 com um caminho de modelo ajustado para raciocínio e um caminho opcional VBVR LoRA, para que seus vídeos rastreiem objetos, ações e eventos causais com lógica temporal mais forte e consistência de cena.

Construído para direção criativa, simulação e batidas de história que precisam de mais do que quadros bonitos, este fluxo de trabalho ComfyUI alinha prompts complexos com movimento estruturado e interações multi-objetos. Você pode escolher entre a rota de modelo VBVR pura ou camadas VBVR e motion LoRAs no Wan 2.2 para velocidade, depois exportar MP4s prontos para edição.

Modelos principais no fluxo de trabalho Comfyui Wan 2.2 VBVR

• Wan2.2-I2V-A14B (backbone MoE). Dois especialistas se especializam em fases de alto ruído e baixo ruído e alternam por SNR durante a remoção de ruído, oferecendo maior capacidade sem custo extra por etapa. Este é o gerador primário que o fluxo de trabalho estende e mistura. Model card • Technical details
• VBVR-Wan2.2. Um ajuste fino de Wan2.2-I2V-A14B em uma grande suíte de raciocínio de vídeo para melhorar o raciocínio temporal, causal e multi-objetos enquanto mantém a arquitetura inalterada. Use isso quando você quiser o alinhamento de raciocínio mais forte. Model card • Paper
• Wan 2.x VAE. Autoencoder de vídeo de alta compressão que reconstrói quadros eficientemente para fluxos de trabalho de 480p–720p; Wan 2.2 descreve um design de compressão que permite geração rápida de 720p. Overview
• uMT5-XXL text encoder. Codificador robusto da família T5 multilíngue usado para derivar embeddings de prompt para os pipelines de texto e imagem-para-vídeo Wan 2.2. Model card
• Motion e raciocínio LoRAs para Wan 2.2. O fluxo de trabalho pode carregar VBVR LoRA para viés de raciocínio e LightX2V step-distilled LoRAs para maior amplitude de movimento e movimentos de câmera. VBVR LoRA example • LightX2V collection

Como usar o fluxo de trabalho Comfyui Wan 2.2 VBVR

Este fluxo de trabalho oferece três rotas complementares. Cada rota é autônoma, desde prompts e imagem inicial opcional até a saída de vídeo, para que você possa testar todas as três e manter a melhor tomada.

• Rota do Modelo VBVR
  • Propósito. Use isso quando você quiser o raciocínio de vídeo mais forte. Ele executa um par de modelos Wan 2.2 calibrados para VBVR de alto SNR e baixo SNR, dividindo a programação de remoção de ruído entre uma etapa de “layout” e uma etapa de “detalhe”.
  • Como funciona. A etapa de alto ruído é executada primeiro no WanVideoSampler (#173), então seus latentes fluem para a etapa de baixo ruído WanVideoSampler (#172) que refina a lógica e os detalhes do movimento. A alternância é controlada pelos start_step e end_step dos amostradores, espelhando a transferência de especialista baseada em SNR do Wan 2.2.
  • O que você define. Forneça uma imagem inicial, se desejar, via LoadImage (#67), e escreva seu prompt no nó Text próximo ao codificador alimentando WanVideoTextEncode (#170). Ajuste a contagem de quadros com o pequeno nó inteiro próximo aos amostradores (Int (#168)).
  • Saída. Os quadros são decodificados por WanVideoDecode (#164) e montados como MP4 com VHS_VideoCombine (#176).
• Rota Wan 2.2 + PainterI2V
  • Propósito. Um caminho rápido e geral para movimento cinematográfico. Mantém os modelos I2V Wan 2.2 padrão, mas atualiza o condicionamento de imagem com PainterI2VforKJ para corrigir artefatos de movimento lento comuns em LoRAs de 4 etapas.
  • Como funciona. Sua imagem inicial é redimensionada para o modelo, incorporada com PainterI2VforKJ (#181), então amostrada por WanVideoSampler (#129, #130). A rota usa uma transferência de alto ruído e depois de baixo ruído semelhante ao VBVR, mas mantém os pesos padrão do Wan 2.2.
  • O que você define. Forneça seu prompt no nó Text que alimenta WanVideoTextEncode (#152). Se você encadear um LightX2V LoRA, o condicionamento desta rota ajuda o movimento a parecer mais intencional. Veja o readme do nó para seu objetivo de design. PainterI2VforKJ
  • Saída. Os quadros são decodificados por WanVideoDecode (#142) e salvos com VHS_VideoCombine (#154).
• Rota Wan 2.2 + VBVR LoRA
  • Propósito. Um híbrido para iterações rápidas. Ele camadas uma VBVR LoRA no modelo Wan 2.2 de alto ruído e uma motion LoRA no modelo de baixo ruído, dando-lhe um impulso de raciocínio cedo e um polimento de movimento limpo tarde.
  • Como funciona. O fluxo de alto ruído passa por WanVideoSampler (#27) e o fluxo de baixo ruído por WanVideoSampler (#90); ambos recebem embeddings de texto de WanVideoTextEncode (#16) e condicionamento de imagem opcional de PainterI2VforKJ (#179). LoRAs são aplicados por estágio para corresponder ao papel do especialista.
  • O que você define. Solte seu prompt no nó Text próximo ao WanVideoTextEncode (#16) e, se necessário, ajuste a divisão de estágio com os widgets inteiros próximos rotulados como “Split_step.” VBVR e LightX2V LoRAs são selecionáveis nos nós LoRA deste grupo. VBVR LoRA
  • Saída. Os quadros são decodificados via WanVideoDecode (#28) e exportados através de VHS_VideoCombine (#60).

Nós principais no fluxo de trabalho Comfyui Wan 2.2 VBVR

• WanVideoModelLoader (#165, #162)
  • Carrega os modelos Wan 2.2 de alto SNR e baixo SNR calibrados para VBVR que mapeiam para os especialistas de remoção de ruído cedo e tarde. Mantenha o par consistente para que a transferência baseada em SNR permaneça estável. Veja o design de comutação MoE e SNR do Wan 2.2 para contexto. Details
• WanVideoSampler (#173, #172, #129, #130, #27, #90)
  • Conduz a geração e controla a divisão de especialistas. Ajuste steps para equilibrar detalhes versus velocidade, e ajuste start_step ou end_step para deslocar o trabalho entre o especialista de layout inicial e o especialista de detalhes tardio. Use cfg para trocar a adesão por liberdade de movimento. A implementação de referência está nos nós do amostrador do wrapper. Wrapper repo
• PainterI2VforKJ (#178, #181, #179)
  • Substitui o condicionamento de imagem-para-vídeo padrão por uma variante amplificada de movimento projetada para corrigir movimento lento ao usar LoRAs de 4 etapas LightX2V. Ele fortalece os prompts de câmera e batidas de ação enquanto mantém a identidade do sujeito. Node readme
• WanVideoTextEncode (#170, #152, #16)
  • Codifica prompts positivos e negativos via um codificador uMT5-XXL para que os amostradores recebam semântica rica e multilíngue. Mantenha a estrutura do prompt clara; separar cena, sujeito, ação e intenção de câmera geralmente melhora o alinhamento. uMT5
• VHS_VideoCombine (#176, #154, #60)
  • Monta quadros decodificados em um MP4 com metadados para reprodutibilidade. Se você passar áudio, o nó o mescla com o vídeo. Isso vem dos nós utilitários do VideoHelperSuite. VideoHelperSuite

Extras opcionais

• Quando escolher cada rota
  • Modelo VBVR: interações complexas, cenas de causa-efeito ou coreografia de multi-objetos.
  • Wan 2.2 + PainterI2V: movimento dinâmico ou narrativa centrada em câmera com LightX2V LoRAs.
  • Wan 2.2 + VBVR LoRA: pré-visualizações rápidas que ainda se beneficiam do viés de raciocínio no início da remoção de ruído.
• Dicas de prompts para Wan 2.2 VBVR no ComfyUI
  • Use seções curtas como [SCENE], [SUBJECT], [ACTION], [CAMERA], [LIGHTING]. Isso ajuda o codificador de texto a separar a intenção.
  • Para interações de objetos, especifique quem faz o quê para quem e em que ordem.
• Empilhamento de LoRA
  • Mantenha o LoRA orientado para raciocínio no especialista inicial e o LoRA de movimento no especialista tardio para evitar regularização excessiva de detalhes. Conjuntos VBVR e LightX2V compatíveis com Wan 2.2 estão disponíveis aqui: VBVR LoRA • LightX2V
• Tamanho e proporção de quadros
  • Os nós ImageResizeKJv2 perto das entradas garantem divisibilidade limpa para o VAE e reduzem artefatos. Combine a proporção de sua imagem inicial com o vídeo alvo para uma propagação de movimento mais suave.

Agradecimentos

Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos sinceramente @Ai Verse, o autor de Wan 2.2 VBVR no ComfyUI Source por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação e os repositórios originais vinculados abaixo.

Recursos

• YouTube/Wan 2.2 VBVR no ComfyUI Source
  • Docs / Notas de Lançamento: Wan 2.2 VBVR no ComfyUI Source @Ai Verse

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.