Blender para ComfyUI AI Renderer 2.0 | Criador de Vídeos em Movimento

Blender para ComfyUI AI Renderer 2.0

Blender para ComfyUI AI Renderer 2.0 transforma saídas do Blender em vídeos cinematográficos guiados por prompts de IA enquanto preserva o movimento e o layout da cena. Ele lê a estrutura a partir de profundidade, contorno ou passes de pose e usa isso para impulsionar a geração de vídeo Wan VACE para que sua filmagem final permaneça alinhada com a intenção original da animação. O fluxo de trabalho também inclui um caminho rápido de imagem estática para desenvolvimento de aparência e verificações de keyframe, tornando-o ideal para animadores, artistas de VFX, equipes de previs e criadores de conteúdo.

No seu núcleo, o Blender para ComfyUI AI Renderer 2.0 constrói ou ingere vídeos de controle, mescla-os com quadros iniciais ou de referência e renderiza uma sequência coerente com forte estabilidade temporal. Você obtém controle criativo por meio de prompts e imagens de referência enquanto profundidade e bordas mantêm a composição e o movimento intactos.

Modelos principais no fluxo de trabalho Comfyui Blender para ComfyUI AI Renderer 2.0

• Wan 2.1 VACE 14B (SkyReels V3 R2V merge). Difusão de vídeo base usada para geração consciente de estrutura e alinhamento de movimento. Checkpoint hospedado como uma fusão para VACE e SkyReels R2V, adequado para controle de quadros do início ao fim e consistência guiada por referência. Model
• Codificador de texto uMT5‑XXL para Wan 2.1. Fornece condicionamento de texto de alta capacidade embalado para ComfyUI. Files
• Wan 2.1 VAE. Usado para codificar e decodificar latentes de vídeo de forma limpa para o pipeline Wan. Files
• Depth Anything 3 DA3‑BASE. Estimador de profundidade monocular usado para derivar controle de profundidade de alta qualidade e temporalmente consistente a partir da filmagem. Model
• Z‑Image Turbo. Uma espinha dorsal de difusão de imagem rápida para exploração de quadros únicos com condicionamento de controle múltiplo. Model
• Z‑Image‑Fun ControlNet Union 2.1. Pesos de controle múltiplo para canny, profundidade, pose e mais ao usar o caminho Z‑Image Turbo. Model
• OpenPose (algoritmo). Detector de pontos-chave 2D clássico usado para derivar linhas de pose como um sinal de controle opcional. Paper • GitHub

Como usar o fluxo de trabalho Comfyui Blender para ComfyUI AI Renderer 2.0

O fluxo de trabalho possui duas trilhas que você pode executar independentemente ou juntas. Primeiro, uma trilha de Pré-processamento constrói um vídeo de controle a partir de sua filmagem (profundidade, bordas ou pose). Segundo, o AI Renderer 2.0 funde imagens iniciais ou de referência com esse vídeo de controle para sintetizar a sequência final. Um caminho separado Z‑IMAGE TURBO CN 1.0 permite iterar rapidamente em imagens estáticas que espelham sua estratégia de controle.

• ENTRADA DE VÍDEO & SELEÇÃO DE TAMANHO (Pré-processamento)
  • Este grupo importa um vídeo e padroniza dimensões e orçamento de quadros para o construtor de passes de controle. O nó VHS_LoadVideo (#32) lê seu clipe e expõe informações como fps e contagem de quadros para nós a jusante. Um bloco de configurações compacto conecta largura, altura e limites de quadros para que cada pré-processador a jusante opere na mesma resolução. Use isso primeiro para alinhar todas as saídas de Pré-processamento antes de escolher um tipo de controle.
• PROFUNDIDADE (Pré-processamento)
  • Este grupo converte os quadros de entrada em uma sequência de mapa de profundidade usando DepthAnything_V3 (#37). O objetivo é preservar a geometria da cena para que a geração de vídeo posterior respeite escala, oclusão e paralaxe. Um nó de redimensionamento interno adapta os mapas ao tamanho de trabalho, e um bloco de salvamento pode visualizar o clipe de controle. Escolha isso quando quiser fidelidade de layout e movimento de câmera fortes.
• CANNY (Pré-processamento)
  • Este grupo extrai linhas de borda limpas com CannyEdgePreprocessor (#39) para fornecer estrutura sem sombreamento. As bordas são redimensionadas para corresponder às configurações do projeto e podem ser salvas como uma visualização. Use isso quando quiser silhuetas nítidas, linhas arquitetônicas ou controle em estilo toon que mantenha a composição mas permita flexibilidade de estilo.
• POSE (Pré-processamento)
  • Este grupo calcula esqueletos humanos com OpenposePreprocessor (#42), produzindo figuras de linha leves para transferência de movimento. É útil quando o movimento do personagem é a prioridade e você deseja que o detalhe gerativo permaneça consistente com atuação e tempo. Como com outros tipos de controle, a saída é redimensionada e pode ser visualizada como um vídeo curto.
• Z‑IMAGE TURBO CN 1.0
  • Este caminho é para exploração rápida de imagem estática a partir de um único quadro ou uma imagem carregada. QwenImageDiffsynthControlnet (#3) aplica Z‑Image Turbo com o patch de controle múltiplo, guiado por um prompt de CLIPTextEncode (#23). Use o switch USE VIDEO? (#20) para alimentar um quadro de vídeo ou uma imagem do disco; então amostre e salve um quadro rápido para validar seu prompt, direção de arte, ou força de controle antes de executar a sequência completa.
• IMAGEM INICIAL (AI Renderer 2.0)
  • Este grupo aceita uma imagem inicial e até três imagens de referência adicionais. O fluxo de trabalho as redimensiona automaticamente, opcionalmente as mescla, e constrói uma pilha de referência que semeia o vídeo para melhor consistência de identidade e estilo. Se várias referências estiverem presentes, um pequeno bloco de lógica desativa a entrada de quadro inicial no construtor de início ao fim do VACE para que as referências tenham precedência.
• ENTRADA DE VÍDEO & SELEÇÃO DE TAMANHO (AI Renderer 2.0)
  • Este segundo grupo de dimensionamento impulsiona a renderização final. Define largura, altura, fps e comprimento de quadro que são lidos por nós Wan a jusante. VHS_LoadVideo (#93 e #105) também pode importar um clipe auxiliar cujas propriedades são usadas para espelhar fps no escritor de saída final. Mantenha este grupo sincronizado com sua exportação do Blender para evitar reamostragem indesejada.
• CARREGADORES DE MODELO FP8
  • Aqui o Wan 2.1 VACE UNet principal, o codificador de texto uMT5‑XXL, e o Wan VAE são carregados, junto com pesos LoRA opcionais. Esses carregadores garantem que o caminho AI Renderer 2.0 funcione com precisão consistente, tokenizador e codec latente. Troque modelos aqui para mudar famílias de estilo ou checkpoints sem tocar no resto do gráfico.
• AMOSTRADOR
  • O coração do Blender para ComfyUI AI Renderer 2.0. WanVideoVACEStartToEndFrame (#3261) forma um vídeo de controle a partir de imagens iniciais e de referência mais o passe de controle escolhido, então WanVacePhantomSimpleV2 (#3255) conecta o modelo Wan, condicionamento, referências e controle gerado juntos. Um KSampler (#3253) renderiza quadros coerentes, então VAEDecode e VHS_VideoCombine (#109) salvam o MP4 no seu fps alvo. Insira seus prompts positivos e negativos uma vez; o mesmo texto impulsiona toda a sequência.

Nós principais no fluxo de trabalho Comfyui Blender para ComfyUI AI Renderer 2.0

• WanVacePhantomSimpleV2 (#3255)
  • Orquestra a geração Wan 2.1 VACE roteando modelo, VAE, prompts, vídeo de controle e quadros de referência. Ajuste apenas o essencial: largura e altura de trabalho para corresponder ao seu controle, e comprimento de sequência para corresponder à cena alvo. Se você usar várias referências fortes, mantenha os prompts descritivos em vez de superespecíficos para evitar lutar contra a orientação de referência.
• WanVideoVACEStartToEndFrame (#3261)
  • Constrói o vídeo de controle que o VACE segue. Forneça uma imagem inicial, pilha de fim ou referência opcional, e o vídeo de controle pré-processado. Defina o número de quadros usando a regra Wan de 4n+1 para que o ajuste permaneça consistente através do amostrador; isso evita artefatos de um a menos no final.
• PreprocessSwitch (#3239)
  • Seleciona qual alimentação de controle chega ao amostrador. Alternar entre quadros originais, profundidade, canny ou pose dependendo do que você exportou do Blender ou construiu no Pré-processamento. Use profundidade quando precisar de fidelidade espacial, canny para controle de composição limpa, e pose para movimento focado em personagem.
• VHS_LoadVideo (#93)
  • Lida com a ingestão de vídeo e expõe propriedades de quadros usadas em todo o gráfico. É a maneira confiável de manter fps e dimensionamento consistentes do Blender até a renderização. Se precisar cortar ou pular cabeças e caudas, faça isso aqui para que todos os caminhos a jusante permaneçam alinhados.
• KSampler (#3253)
  • Produz a sequência latente final dado o modelo Wan e o condicionamento. Se você mudar a força de orientação ou o método de amostragem, verifique novamente os primeiros e últimos 10 quadros para estabilidade, depois renderize a cena completa.

Extras opcionais

• Você pode substituir o passe de controle gerado pelos próprios passes de renderização do Blender. Conecte seu passe de profundidade, contorno ou pose na entrada de controle usada por WanVideoVACEStartToEndFrame (#3261) para dirigir o VACE diretamente das saídas do Blender.
• Mantenha a proporção e o fps idênticos entre o Blender e o fluxo de trabalho. O escritor de saída espelha fps das configurações de entrada para que o tempo editorial permaneça travado.
• Para preservação de identidade ou estilo, forneça várias imagens de referência limpas em IMAGEM INICIAL. O fluxo de trabalho priorizará o conjunto de referência e lidará automaticamente com o toggle de quadro inicial.

Este fluxo de trabalho do Blender para ComfyUI AI Renderer 2.0 permite que você permaneça fiel ao layout e movimento enquanto usa prompts e referências para aumentar o valor de produção. Use o Pré-processamento para decidir quanto de estrutura deseja preservar, valide a direção rapidamente com Z‑IMAGE TURBO CN 1.0, depois renderize sequências confiantes e coerentes com AI Renderer 2.0.

Agradecimentos

Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos sinceramente @Mickmumpitz, os criadores do “Blender para ComfyUI AI Renderer 2.0 Source” por seu fluxo de trabalho e orientação. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos

• Blender para ComfyUI AI Renderer 2.0 Source
  • Docs / Notas de Lançamento: YouTube @ Mickmumpitz

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.