Gere MUNDOS INTEIROS DE IA Construtor de Cenas de Vídeo

Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1): Construção cinematográfica de mundo de vídeo para vídeo com rastreamento de câmera real

O Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) é um fluxo de trabalho do ComfyUI pronto para produção por Mickmumpitz para transformar filmagens ao vivo em novos ambientes enquanto mantém o movimento original da câmera. Ele troca fundos, preserva perspectiva e escala, e compõe um ator mascarado em mundos totalmente regenerados impulsionados por texto e imagens de referência.

Construído sobre a pilha Wan 2.1 VACE, este fluxo de trabalho é ideal para cineastas, artistas de VFX e criadores que precisam de previz rápida ou tomadas polidas. Você pode dirigir a cena com prompts, começar de uma imagem de referência opcional e escolher entre um pipeline FP8 de alta velocidade ou um pipeline GGUF de baixo VRAM. O resultado é uma construção de mundo perfeita que permite realmente Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) a partir de placas do dia a dia.

Modelos-chave no fluxo de trabalho Comfyui Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1)

• Modelo de difusão de texto para vídeo Wan 2.1 14B. Gerador principal usado para sintetizar o novo mundo de maneira temporalmente consistente. Pesos repacotados para ComfyUI estão disponíveis na versão Comfy-Org no Hugging Face. Comfy‑Org/Wan_2.1_ComfyUI_repackaged
• Módulo VACE Wan 2.1 14B. Fornece embeddings VACE que vinculam a geração à estrutura da cena, permitindo substituição precisa de fundo e rastreamento de câmera. Kijai/WanVideo_comfy
• VAE Wan 2.1. Lida com codificação/decodificação latente para quadros de vídeo. Comfy‑Org/Wan_2.1_ComfyUI_repackaged (VAE split)
• Codificador de texto uMT5‑XXL. Codifica prompts para o espaço de condicionamento do Wan 2.1. Um codificador empacotado compatível com este fluxo de trabalho é fornecido juntamente com as divisões Wan 2.1. Comfy‑Org/Wan_2.1_ComfyUI_repackaged (text_encoders)
• Wan 2.1 14B VACE GGUF (UNet quantizado). Uma alternativa quantizada para GPUs de baixo VRAM que alimenta o caminho GGUF sem o modelo FP8 completo. QuantStack/Wan2.1_14B_VACE‑GGUF
• FILM: Interpolação de Quadros para Grande Movimento. Processo pós-opcional para aumentar a suavidade do movimento interpolando quadros adicionais. google‑research/frame‑interpolation
• LightX opcional LoRA de destilação de etapas para Wan 2.1. Um LoRA orientado para velocidade que combina bem com contagens curtas de etapas enquanto mantém estrutura e identidade. Kijai/WanVideo_comfy (LoRA)

Como usar o fluxo de trabalho Comfyui Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1)

Este fluxo de trabalho segue uma estratégia VACE de duas passagens: primeiro, ele codifica o movimento da cena a partir de imagens de controle para travar o movimento da câmera; em segundo lugar, ele codifica a inserção do ator e a mistura no ambiente regenerado. Você pode executar o caminho FP8 para máxima velocidade ou o caminho GGUF para baixo VRAM. As seções abaixo mapeiam para os grupos no gráfico, para que você possa operar todo o pipeline Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) com confiança.

ENTRADA DE VÍDEO E SELEÇÃO DE TAMANHO

A área de entrada permite escolher a resolução de trabalho e os controles básicos de clipe. Use o interruptor de resolução para escolher um predefinido (720p, 576p ou 480p), que alimenta Set_width (#370) e Set_height (#369) para que cada estágio permaneça sincronizado. Você pode limitar o número de quadros para manter as voltas rápidas e definir um pequeno salto se quiser compensar o ponto de entrada. Para estabilidade e memória, mantenha as sequências dentro da faixa recomendada; os rótulos do gráfico indicam que 81 quadros é um teto sensato para a maioria das GPUs. Essas escolhas se aplicam globalmente para imagens de controle, codificações VACE e renderizações finais.

Nota: O vídeo de entrada também pode ser gerado através de outro fluxo de trabalho, MASK_AND_TRACK. Você pode baixar seu arquivo de fluxo de trabalho aqui: workflow.json. Após o download, arraste o arquivo para uma nova aba de fluxo de trabalho e execute-o para obter o vídeo de entrada.

DEFINIR FUNDO / IMAGEM DE REFERÊNCIA

Uma placa de fundo e uma imagem de referência opcional guiam o estilo visual. Carregue uma imagem estática de fundo, então o gráfico a redimensiona para corresponder ao seu tamanho de trabalho. Se você quiser um âncora de estilo em vez de uma placa de fundo rígida, ative a reference_image através do seletor; esta imagem guia cor, composição e tom sem ditar geometria. A rota de referência é útil quando você deseja que o modelo Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) que ecoem um visual específico, enquanto o prompt de texto lida com o restante. Desative-o quando preferir controle apenas por texto.

INICIAR QUADRO + PESSOA

Use esta seção para decidir como a geração começa. Com um ator pronto, Image Remove Background Rembg (mtb) (#1433) puxa uma máscara limpa e ImageCompositeMasked (#1441) coloca o ator no fundo escolhido para formar um quadro inicial. O interruptor Start Frame (ImpactSwitch, #1760) oferece três modos: ator composto mais fundo, apenas fundo ou sem quadro inicial. Quadros iniciais ajudam a ancorar identidade e layout; apenas fundo permite que o personagem "entre" ao longo do tempo; sem quadro inicial pede ao modelo que estabeleça tanto o sujeito quanto o mundo a partir de texto e referência. Um bloco de visualização ao vivo mostra como esse início se parece antes de você confirmar a jusante.

IMAGENS DE CONTROLE

As imagens de controle travam o movimento da câmera para que perspectiva e paralaxe pareçam reais. Alimente um vídeo rastreado por câmera no grupo; o gráfico pode derivar camadas OpenPose e Canny, depois misturá-las para criar um forte sinal de estrutura. O interruptor Control Image Nodes (ImpactSwitch, #1032) permite escolher apenas Trilha, Trilha+Pose, Canny+Pose ou um vídeo de controle preparado externamente. Revise a pilha com a combinação de visualização para garantir que silhuetas e bordas sejam lidas claramente. Para sequências longas, você pode salvar e recarregar este vídeo de controle para evitar recomputação; isso é especialmente útil quando você itera prompts ou máscaras enquanto continua a Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1).

VÍDEO DE ENTRADA CN

Se você já exportou um vídeo de "imagens de controle", coloque-o aqui para contornar o pré-processamento. Selecione a opção correspondente no interruptor de imagem de controle para que o restante do pipeline use sua estrutura em cache. Isso mantém o rastreamento da câmera consistente em execuções e reduz drasticamente o tempo de iteração em tomadas longas.

CARREGADORES DE MODELO FP8

O ramo FP8 carrega toda a pilha de modelos Wan 2.1. WanVideoModelLoader (#4) traz a espinha dorsal T2V 14B e o módulo VACE, além de um LightX LoRA opcional para amostragem rápida e coerente. WanVideoVAELoader (#26) fornece o VAE, e WanVideoBlockSwap (#5) expõe uma estratégia de economia de VRAM trocando blocos para a memória do dispositivo conforme necessário. Este ramo é a maneira mais rápida de Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) quando você tem espaço de VRAM.

AMOSTRADOR DE MODELO FP8

Os prompts são codificados por WanVideoTextEncodeSingle para texto positivo e negativo, depois refinados através de WanVideoApplyNAG para manter a consistência das frases. A primeira passagem, WanVideo VACE Encode (CN‑CameraTrack) (#948), lê as imagens de controle para produzir embeddings conscientes de movimento. A segunda passagem, WanVideo VACE Encode (InsertPerson) (#1425), injeta o ator usando um alfa limpo e uma máscara que você pode aumentar ou diminuir suavemente para evitar halos. WanVideoSampler (#2) então renderiza a sequência, WanVideoDecode (#1) transforma latentes em quadros, e um interruptor simples escolhe entre a taxa de quadros original ou um fluxo interpolado FILM antes da combinação final de vídeo.

CARREGADORES DE MODELO GGUF

O ramo GGUF é projetado para fluxos de trabalho de baixo VRAM. UnetLoaderGGUF (#1677) carrega um UNet VACE Wan 2.1 quantizado, CLIPLoader (#1680) fornece o codificador de texto, e um LoRA pode ser aplicado com LoraLoader (#2420). Um VAELoader padrão do ComfyUI (#1676) lida com a decodificação. Esta rota troca velocidade por pegada enquanto preserva a mesma lógica de duas passagens VACE, para que você ainda possa Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) em hardware modesto.

AMOSTRADOR DE MODELO GGUF

No caminho quantizado, WanVaceToVideo (#1724) transforma embeddings VACE, condicionamento de texto e sua referência em um latente guiado. WanVideoNAG e WanVideoEnhanceAVideoKJ ajudam a manter identidade e detalhe local, após o que KSampler (#1726) gera a sequência latente final. VAEDecode (#1742) produz quadros, uma etapa FILM opcional adiciona suavidade temporal, e a combinação de vídeo grava o resultado no disco. Use este caminho quando o VRAM estiver apertado ou quando precisar de tomadas longas e estáveis.

PROMPTS

Existem dois painéis de prompt. O lado FP8 usa o codificador de texto Wan T5, enquanto o lado GGUF usa um caminho de condicionamento CLIP; ambos recebem texto positivo e negativo. Mantenha os prompts positivos cinematográficos e específicos para o mundo que deseja, e reserve prompts negativos para artefatos de compressão, super-saturação e desordem indesejada em primeiro plano. Você pode misturar prompts com uma imagem de referência suave para direcionar cor e iluminação enquanto ainda permite que o modelo Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) que correspondam à sua intenção.

Nós-chave no fluxo de trabalho Comfyui Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1)

• WanVideo VACE Encode (CN-CameraTrack) (#948) Passagem VACE de primeira etapa que analisa suas imagens de controle para travar o movimento da câmera. Combine largura, altura e comprimento com o tamanho de trabalho escolhido e duração do clipe para que os embeddings se alinhem com a amostragem a jusante. Se você se baseia em vídeo de controle externo, mantenha sua contagem de quadros consistente para evitar desvios de tempo. Implementação de referência e comportamento do nó seguem o wrapper WanVideo. Fonte: kijai/ComfyUI‑WanVideoWrapper
• WanVideo VACE Encode (InsertPerson) (#1425) Passagem VACE de segunda etapa que injeta o ator usando a máscara alfa e uma máscara limpa. Se você vir bordas tênues, ajuste a máscara de encolhimento/expansão upstream (DilateErodeMask, #2391) para puxar a máscara ligeiramente. Esta passagem amarra a inserção ao movimento da cena para que escala e paralaxe permaneçam naturais. Fonte: kijai/ComfyUI‑WanVideoWrapper
• WanVaceToVideo (#1724 e #1729) Conecta o condicionamento VACE ao amostrador. Defina as dimensões de saída para o mesmo tamanho de trabalho e use a contagem de quadros do clipe de controle para que cortes não sejam necessários mais tarde. Emparelhe com uma única imagem de referência quando quiser um visual coeso em toda a tomada sem restringir demais o layout. Fonte: kijai/ComfyUI‑WanVideoWrapper
• WanVideoSampler (#2) Amostrador FP8 que renderiza a sequência final do Wan 2.1 usando seus embeddings de texto e embeddings de imagem VACE. Ele oferece suporte a troca de blocos para economia de VRAM e funciona bem com o LightX step-distill LoRA para resultados rápidos e seguros em baixas contagens de etapas. Fontes: kijai/ComfyUI‑WanVideoWrapper, Kijai/WanVideo_comfy (LoRA)
• KSampler (#1726) Amostrador do ramo GGUF. Comece com um pequeno número de etapas para preservar o ator e reduzir o excesso de nitidez; o LightX LoRA é ajustado para este regime. Se o detalhe se perder, aumente as etapas modestamente ou intensifique o bloco Enhance A Video para recuperar micro-textura sem desviar o movimento. Fonte: ComfyUI core
• FILM VFI (#2019 e #1757) Interpolação de quadros opcional controlada pelo interruptor de interpolação. Use-o para suavizar movimentos rápidos ou estender a duração sem re-renderização. Se você notar oscilação temporal em estruturas finas, desative-o para essas tomadas ou reduza o fator de interpolação. Fonte: google‑research/frame‑interpolation

Extras opcionais

• Mantenha os comprimentos dos clipes gerenciáveis; a orientação do gráfico de até aproximadamente 81 quadros por execução equilibra estabilidade e memória em GPUs comuns.
• Se você estiver iterando prompts, salve o vídeo de "imagens de controle" uma vez e mude para o caminho de Vídeo de Entrada CN para evitar recomputação de estrutura.
• Para remover bordas tênues ao redor do sujeito, ajuste a máscara do ator com DilateErodeMask no caminho de inserção até que os halos desapareçam.
• Baixa VRAM ou tomadas longas: escolha o ramo GGUF; alta VRAM e iteração rápida: escolha o ramo FP8.
• Para enquadramento inicial, use "Apenas fundo" quando quiser que o sujeito entre mais tarde, ou "Sem quadro inicial" quando quiser que o modelo estabeleça totalmente a cena a partir de texto e referência.

Com essas etapas, você pode executar o fluxo de trabalho de ponta a ponta com confiança e Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) que se sustentam sob movimento real de câmera.

Agradecimentos

Este fluxo de trabalho implementa e se baseia nos trabalhos e recursos de @mickmumpitz. Agradecemos imensamente o Tutorial de Fluxo de Trabalho de Mickmumpitz pelo fluxo de trabalhojson , e agradecemos a ele por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos

• YouTube/Tutorial de Fluxo de Trabalho
  • Documentos / Notas de Lançamento do Youtube de Mickmumpitz: Tutorial de Fluxo de Trabalho

Nota: O uso dos modelos, conjuntos de dados e códigos referenciados está sujeito às respectivas licenças e termos fornecidos por Mickmumpitz.