Gere MUNDOS INTEIROS DE IA Construtor de Cenas de Vídeo

Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1): Construção cinematográfica de mundo de vídeo para vídeo com rastreamento de câmera real#

O Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) é um fluxo de trabalho do ComfyUI pronto para produção por Mickmumpitz para transformar filmagens ao vivo em novos ambientes enquanto mantém o movimento original da câmera. Ele troca fundos, preserva perspectiva e escala, e compõe um ator mascarado em mundos totalmente regenerados impulsionados por texto e imagens de referência.

Construído sobre a pilha Wan 2.1 VACE, este fluxo de trabalho é ideal para cineastas, artistas de VFX e criadores que precisam de previz rápida ou tomadas polidas. Você pode dirigir a cena com prompts, começar de uma imagem de referência opcional e escolher entre um pipeline FP8 de alta velocidade ou um pipeline GGUF de baixo VRAM. O resultado é uma construção de mundo perfeita que permite realmente Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) a partir de placas do dia a dia.

Modelos-chave no fluxo de trabalho Comfyui Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1)#

• Modelo de difusão de texto para vídeo Wan 2.1 14B. Gerador principal usado para sintetizar o novo mundo de maneira temporalmente consistente. Pesos repacotados para ComfyUI estão disponíveis na versão Comfy-Org no Hugging Face. Comfy‑Org/Wan_2.1_ComfyUI_repackaged
• Módulo VACE Wan 2.1 14B. Fornece embeddings VACE que vinculam a geração à estrutura da cena, permitindo substituição precisa de fundo e rastreamento de câmera. Kijai/WanVideo_comfy
• VAE Wan 2.1. Lida com codificação/decodificação latente para quadros de vídeo. Comfy‑Org/Wan_2.1_ComfyUI_repackaged (VAE split)
• Codificador de texto uMT5‑XXL. Codifica prompts para o espaço de condicionamento do Wan 2.1. Um codificador empacotado compatível com este fluxo de trabalho é fornecido juntamente com as divisões Wan 2.1. Comfy‑Org/Wan_2.1_ComfyUI_repackaged (text_encoders)
• Wan 2.1 14B VACE GGUF (UNet quantizado). Uma alternativa quantizada para GPUs de baixo VRAM que alimenta o caminho GGUF sem o modelo FP8 completo. QuantStack/Wan2.1_14B_VACE‑GGUF
• FILM: Interpolação de Quadros para Grande Movimento. Processo pós-opcional para aumentar a suavidade do movimento interpolando quadros adicionais. google‑research/frame‑interpolation
• LightX opcional LoRA de destilação de etapas para Wan 2.1. Um LoRA orientado para velocidade que combina bem com contagens curtas de etapas enquanto mantém estrutura e identidade. Kijai/WanVideo_comfy (LoRA)

Como usar o fluxo de trabalho Comfyui Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1)#

Este fluxo de trabalho segue uma estratégia VACE de duas passagens: primeiro, ele codifica o movimento da cena a partir de imagens de controle para travar o movimento da câmera; em segundo lugar, ele codifica a inserção do ator e a mistura no ambiente regenerado. Você pode executar o caminho FP8 para máxima velocidade ou o caminho GGUF para baixo VRAM. As seções abaixo mapeiam para os grupos no gráfico, para que você possa operar todo o pipeline Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) com confiança.

ENTRADA DE VÍDEO E SELEÇÃO DE TAMANHO#

A área de entrada permite escolher a resolução de trabalho e os controles básicos de clipe. Use o interruptor de resolução para escolher um predefinido (720p, 576p ou 480p), que alimenta Set_width (#370) e Set_height (#369) para que cada estágio permaneça sincronizado. Você pode limitar o número de quadros para manter as voltas rápidas e definir um pequeno salto se quiser compensar o ponto de entrada. Para estabilidade e memória, mantenha as sequências dentro da faixa recomendada; os rótulos do gráfico indicam que 81 quadros é um teto sensato para a maioria das GPUs. Essas escolhas se aplicam globalmente para imagens de controle, codificações VACE e renderizações finais.

Nota: O vídeo de entrada também pode ser gerado através de outro fluxo de trabalho, MASK_AND_TRACK. Você pode baixar seu arquivo de fluxo de trabalho aqui: workflow.json. Após o download, arraste o arquivo para uma nova aba de fluxo de trabalho e execute-o para obter o vídeo de entrada.

DEFINIR FUNDO / IMAGEM DE REFERÊNCIA#

Uma placa de fundo e uma imagem de referência opcional guiam o estilo visual. Carregue uma imagem estática de fundo, então o gráfico a redimensiona para corresponder ao seu tamanho de trabalho. Se você quiser um âncora de estilo em vez de uma placa de fundo rígida, ative a reference_image através do seletor; esta imagem guia cor, composição e tom sem ditar geometria. A rota de referência é útil quando você deseja que o modelo Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) que ecoem um visual específico, enquanto o prompt de texto lida com o restante. Desative-o quando preferir controle apenas por texto.

INICIAR QUADRO + PESSOA#

Use esta seção para decidir como a geração começa. Com um ator pronto, Image Remove Background Rembg (mtb) (#1433) puxa uma máscara limpa e ImageCompositeMasked (#1441) coloca o ator no fundo escolhido para formar um quadro inicial. O interruptor Start Frame (ImpactSwitch, #1760) oferece três modos: ator composto mais fundo, apenas fundo ou sem quadro inicial. Quadros iniciais ajudam a ancorar identidade e layout; apenas fundo permite que o personagem "entre" ao longo do tempo; sem quadro inicial pede ao modelo que estabeleça tanto o sujeito quanto o mundo a partir de texto e referência. Um bloco de visualização ao vivo mostra como esse início se parece antes de você confirmar a jusante.

IMAGENS DE CONTROLE#

As imagens de controle travam o movimento da câmera para que perspectiva e paralaxe pareçam reais. Alimente um vídeo rastreado por câmera no grupo; o gráfico pode derivar camadas OpenPose e Canny, depois misturá-las para criar um forte sinal de estrutura. O interruptor Control Image Nodes (ImpactSwitch, #1032) permite escolher apenas Trilha, Trilha+Pose, Canny+Pose ou um vídeo de controle preparado externamente. Revise a pilha com a combinação de visualização para garantir que silhuetas e bordas sejam lidas claramente. Para sequências longas, você pode salvar e recarregar este vídeo de controle para evitar recomputação; isso é especialmente útil quando você itera prompts ou máscaras enquanto continua a Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1).

VÍDEO DE ENTRADA CN#

Se você já exportou um vídeo de "imagens de controle", coloque-o aqui para contornar o pré-processamento. Selecione a opção correspondente no interruptor de imagem de controle para que o restante do pipeline use sua estrutura em cache. Isso mantém o rastreamento da câmera consistente em execuções e reduz drasticamente o tempo de iteração em tomadas longas.

CARREGADORES DE MODELO FP8#

O ramo FP8 carrega toda a pilha de modelos Wan 2.1. WanVideoModelLoader (#4) traz a espinha dorsal T2V 14B e o módulo VACE, além de um LightX LoRA opcional para amostragem rápida e coerente. WanVideoVAELoader (#26) fornece o VAE, e WanVideoBlockSwap (#5) expõe uma estratégia de economia de VRAM trocando blocos para a memória do dispositivo conforme necessário. Este ramo é a maneira mais rápida de Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) quando você tem espaço de VRAM.

AMOSTRADOR DE MODELO FP8#

Os prompts são codificados por WanVideoTextEncodeSingle para texto positivo e negativo, depois refinados através de WanVideoApplyNAG para manter a consistência das frases. A primeira passagem, WanVideo VACE Encode (CN‑CameraTrack) (#948), lê as imagens de controle para produzir embeddings conscientes de movimento. A segunda passagem, WanVideo VACE Encode (InsertPerson) (#1425), injeta o ator usando um alfa limpo e uma máscara que você pode aumentar ou diminuir suavemente para evitar halos. WanVideoSampler (#2) então renderiza a sequência, WanVideoDecode (#1) transforma latentes em quadros, e um interruptor simples escolhe entre a taxa de quadros original ou um fluxo interpolado FILM antes da combinação final de vídeo.

CARREGADORES DE MODELO GGUF#

O ramo GGUF é projetado para fluxos de trabalho de baixo VRAM. UnetLoaderGGUF (#1677) carrega um UNet VACE Wan 2.1 quantizado, CLIPLoader (#1680) fornece o codificador de texto, e um LoRA pode ser aplicado com LoraLoader (#2420). Um VAELoader padrão do ComfyUI (#1676) lida com a decodificação. Esta rota troca velocidade por pegada enquanto preserva a mesma lógica de duas passagens VACE, para que você ainda possa Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) em hardware modesto.

AMOSTRADOR DE MODELO GGUF#

No caminho quantizado, WanVaceToVideo (#1724) transforma embeddings VACE, condicionamento de texto e sua referência em um latente guiado. WanVideoNAG e WanVideoEnhanceAVideoKJ ajudam a manter identidade e detalhe local, após o que KSampler (#1726) gera a sequência latente final. VAEDecode (#1742) produz quadros, uma etapa FILM opcional adiciona suavidade temporal, e a combinação de vídeo grava o resultado no disco. Use este caminho quando o VRAM estiver apertado ou quando precisar de tomadas longas e estáveis.

PROMPTS#

Existem dois painéis de prompt. O lado FP8 usa o codificador de texto Wan T5, enquanto o lado GGUF usa um caminho de condicionamento CLIP; ambos recebem texto positivo e negativo. Mantenha os prompts positivos cinematográficos e específicos para o mundo que deseja, e reserve prompts negativos para artefatos de compressão, super-saturação e desordem indesejada em primeiro plano. Você pode misturar prompts com uma imagem de referência suave para direcionar cor e iluminação enquanto ainda permite que o modelo Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1) que correspondam à sua intenção.

Nós-chave no fluxo de trabalho Comfyui Gere MUNDOS INTEIROS DE IA (Vace Wan 2.1)#

• WanVideo VACE Encode (CN-CameraTrack) (#948) Passagem VACE de primeira etapa que analisa suas imagens de controle para travar o movimento da câmera. Combine largura, altura e comprimento com o tamanho de trabalho escolhido e duração do clipe para que os embeddings se alinhem com a amostragem a jusante. Se você se baseia em vídeo de controle externo, mantenha sua contagem de quadros consistente para evitar desvios de tempo. Implementação de referência e comportamento do nó seguem o wrapper WanVideo. Fonte: kijai/ComfyUI‑WanVideoWrapper
• WanVideo VACE Encode (InsertPerson) (#1425) Passagem VACE de segunda etapa que injeta o ator usando a máscara alfa e uma máscara limpa. Se você vir bordas tênues, ajuste a máscara de encolhimento/expansão upstream (DilateErodeMask, #2391) para puxar a máscara ligeiramente. Esta passagem amarra a inserção ao movimento da cena para que escala e paralaxe permaneçam naturais. Fonte: kijai/ComfyUI‑WanVideoWrapper
• WanVaceToVideo (#1724 e #1729) Conecta o condicionamento VACE ao amostrador. Defina as dimensões de saída para o mesmo tamanho de trabalho e use a contagem de quadros do clipe de controle para que cortes não sejam necessários mais tarde. Emparelhe com uma única imagem de referência quando quiser um visual coeso em toda a tomada sem restringir demais o layout. Fonte: kijai/ComfyUI‑WanVideoWrapper
• WanVideoSampler (#2) Amostrador FP8 que renderiza a sequência final do Wan 2.1 usando seus embeddings de texto e embeddings de imagem VACE. Ele oferece suporte a troca de blocos para economia de VRAM e funciona bem com o LightX step-distill LoRA para resultados rápidos e seguros em baixas contagens de etapas. Fontes: kijai/ComfyUI‑WanVideoWrapper, Kijai/WanVideo_comfy (LoRA)
• KSampler (#1726) Amostrador do ramo GGUF. Comece com um pequeno número de etapas para preservar o ator e reduzir o excesso de nitidez; o LightX LoRA é ajustado para este regime. Se o detalhe se perder, aumente as etapas modestamente ou intensifique o bloco Enhance A Video para recuperar micro-textura sem desviar o movimento. Fonte: ComfyUI core
• FILM VFI (#2019 e #1757) Interpolação de quadros opcional controlada pelo interruptor de interpolação. Use-o para suavizar movimentos rápidos ou estender a duração sem re-renderização. Se você notar oscilação temporal em estruturas finas, desative-o para essas tomadas ou reduza o fator de interpolação. Fonte: google‑research/frame‑interpolation

Extras opcionais#

• Mantenha os comprimentos dos clipes gerenciáveis; a orientação do gráfico de até aproximadamente 81 quadros por execução equilibra estabilidade e memória em GPUs comuns.
• Se você estiver iterando prompts, salve o vídeo de "imagens de controle" uma vez e mude para o caminho de Vídeo de Entrada CN para evitar recomputação de estrutura.
• Para remover bordas tênues ao redor do sujeito, ajuste a máscara do ator com DilateErodeMask no caminho de inserção até que os halos desapareçam.
• Baixa VRAM ou tomadas longas: escolha o ramo GGUF; alta VRAM e iteração rápida: escolha o ramo FP8.
• Para enquadramento inicial, use "Apenas fundo" quando quiser que o sujeito entre mais tarde, ou "Sem quadro inicial" quando quiser que o modelo estabeleça totalmente a cena a partir de texto e referência.

Com essas etapas, você pode executar o fluxo de trabalho de ponta a ponta com confiança e Gerar MUNDOS INTEIROS DE IA (Vace Wan 2.1) que se sustentam sob movimento real de câmera.

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos trabalhos e recursos de @mickmumpitz. Agradecemos imensamente o Tutorial de Fluxo de Trabalho de Mickmumpitz pelo fluxo de trabalhojson , e agradecemos a ele por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• YouTube/Tutorial de Fluxo de Trabalho
  • Documentos / Notas de Lançamento do Youtube de Mickmumpitz: Tutorial de Fluxo de Trabalho

Nota: O uso dos modelos, conjuntos de dados e códigos referenciados está sujeito às respectivas licenças e termos fornecidos por Mickmumpitz.