Wan2.2 Animate Action Transfer V7 | Criador de Vídeos de Movimento AI

Wan2.2 Animate Action Transfer V7: Fluxo de Trabalho de Vídeo Motion‑to‑Character para ComfyUI#

Wan2.2 Animate Action Transfer V7 é um fluxo de trabalho de vídeo ComfyUI para transferir movimento de um vídeo de condução para um personagem ou imagem alvo, preservando identidade, enquadramento e estilo. Construído em torno do Wan2.2 Animate com pose, face, visão CLIP, Uni3C ControlNet e orientação empilhada Wan LoRA, produz um MP4 pronto para edição ou publicação.

Este fluxo de trabalho Wan2.2 Animate Action Transfer é ideal para criadores que querem uma configuração de transferência de ação pronta para RunComfy, com entradas de exemplo e resultados consistentes e repetíveis. Ele lida com condicionamento de pose e face, orientação de câmera opcional, utilitários de enquadramento e proporção, e passagem de áudio para que você possa se concentrar na direção de performance e aparência.

Modelos principais no fluxo de trabalho Wan2.2 Animate Action Transfer do ComfyUI#

• Wan2.2 Animate 14B. O modelo de difusão de vídeo principal que gera quadros consistentes em movimento condicionados por identidade, pose e incorporações de texto. Model card
• Wan Video VAE (Wan 2.1). Codificação/decodificação latente de alta qualidade para quadros de vídeo que equilibra detalhe e velocidade no ComfyUI. Assets
• Codificador de Visão CLIP (ViT‑H/14 via OpenCLIP). Extrai pistas de identidade e composição da imagem alvo para manter o sujeito estável através dos quadros. Repo
• ViTPose Corpo Inteiro. Estimativa robusta de pontos-chave de corpo, mãos e face para dirigir transferência de ação precisa. Paper
• Detectores YOLOv10. Detecção de pessoa e região usada para localizar corpos antes da extração de pontos-chave e mapeamento de proporções. Repo
• Extrator SDPose Corpo Inteiro. Backend alternativo de pontos-chave de corpo inteiro integrado para análise de pose de múltiplas estratégias. Repo
• Uni3C ControlNet para vídeo (via WanVideoWrapper). Orientação estrutural opcional que estabiliza a câmera e as restrições de cena durante a renderização. Repo

Como usar o fluxo de trabalho Wan2.2 Animate Action Transfer do ComfyUI#

Em um nível alto, você carrega uma imagem de personagem alvo e um vídeo de condução, o fluxo de trabalho extrai sinais de pose e face, codifica identidade com visão CLIP, aplica opcionalmente orientação de câmera Uni3C e Wan LoRAs, então renderiza com Wan2.2 Animate em quadros e exporta um MP4 com ou sem o áudio original.

Área de entrada#

Carregue seu vídeo de condução em VHS_LoadVideo (#275) e sua imagem de personagem alvo em LoadImage (#299). O carregador de vídeo gerencia limites de taxa de quadros, extração opcional de áudio e controles básicos de seleção; o carregador de imagem é usado como referência de identidade e enquadramento. Os utilitários de proporção calculam automaticamente largura e altura a partir da orientação escolhida para que a saída corresponda a 16:9 ou 9:16 sem distorções. Se você planeja manter o áudio original, deixe-o conectado; o exportador irá cortar ou preencher conforme configurado.

Imagem de referência#

Este grupo prepara a imagem alvo para orientação de identidade. ImageResizeKJv2 (#225) alinha a imagem à resolução de renderização, CLIPVisionLoader (#178) carrega a espinha dorsal da visão, e WanVideoClipVisionEncode (#189) produz incorporações de visão CLIP. Use uma imagem limpa e bem iluminada com o enquadramento desejado; a visão CLIP preserva identidade do sujeito, pistas de vestuário e composição para que o vídeo gerado siga sua aparência.

Cálculo de face e pose#

O fluxo de trabalho suporta múltiplos pipelines de pose para robustez. OnnxDetectionModelLoader (#204) com PoseAndFaceDetection (#235, #249) extrai pose de corpo inteiro mais recortes de face do vídeo de condução. Em paralelo, a detecção de região baseada em YOLO (YOLOModelLoader (#327, #387) com BBoxYOLO (#324, #379, #395)) alimenta SDPoseKeypointExtractor (#326, #383, #384) para pontos-chave alternativos. Uma rota de retargeting de proporção usando BodyRatioMapperProportionTransfer (#388) adapta movimento entre diferentes proporções de corpo e renderiza um mapa de pose limpo via BodyRatioMapperSDPoseRender (#391). Um interruptor booleano permite que você ignore a orientação de face para atores totalmente mascarados ou com capacete, evitando conflitos de expressão.

Carregamento de modelos#

WanVideoVAELoader (#277) e WanVideoModelLoader (#287) trazem o backbone e VAE Wan2.2 Animate. Dois nós WanVideoLoraSelectMulti (#248, #276) permitem empilhar LoRAs para orientação de estilo, velocidade, relighting ou inpainting, e WanVideoSetBlockSwap (#290) configura troca de blocos amigável à memória para clipes longos. WanVideoContextOptions (#270) define janelas de contexto temporal e passo para que o modelo veja quadros vizinhos suficientes para permanecer estável sem suavizar demais a ação.

Orientação de câmera e estrutura Uni3C#

Quando você precisa de um comportamento de câmera mais estável ou restrições de cena, ative o caminho Uni3C. WanVideoUni3C_ControlnetLoader (#345) carrega o modelo de controle, WanVideoEncode (#346) converte quadros em latentes para condicionamento, e WanVideoUni3C_embeds (#344) gera incorporações Uni3C cuja força você pode ajustar. Esta orientação é mesclada na cadeia de renderização principal para estabilizar panorâmicas, zooms ou cenas de grande movimento.

Amostragem e renderização#

WanVideoAnimateEmbeds (#295) funde identidade de visão CLIP, mapas de pose e recortes de face em incorporações de imagem enquanto você controla pose_strength e face_strength. O renderizador principal funciona em duas etapas com WanVideoSampler (#222, #367); um interruptor escolhe o ramo guiado por Uni3C quando habilitado, caso contrário, o ramo padrão. Após a amostragem, WanVideoDecode (#246) transforma latentes em imagens e utilitários de seleção de quadros os direcionam para exportação. O fluxo de trabalho equilibra comprimento de contexto, passo e memória para que você possa renderizar sequências longas de forma confiável.

Exportação#

Dois exportadores estão incluídos. VideoCombineNode (#330) fornece uma exportação compacta em MP4 com corte opcional para áudio. VHS_VideoCombine (#285) oferece uma interface mais rica para taxa de quadros, CRF, pix_fmt e nomeação de saída; também suporta passagem direta de áudio. Um utilitário de compressão pode compactar todos os quadros se você preferir sequências de imagens para trabalho posterior.

Utilitários de lote e auxiliares#

Um pequeno cluster gerencia matemática de quadros, repetições e contagens para que lotes de referência correspondam ao comprimento da sequência alvo. Utilitários como ImageFromBatch (#181), ImageBatch (#304), BatchCount+ (#308, #314), e easy mathInt (#309) mantêm comprimentos sincronizados para condicionamento suave ao longo do clipe. Nós de higiene de VRAM limpam a memória entre etapas pesadas para reduzir erros de memória insuficiente durante renderizações longas.

Nós principais no fluxo de trabalho Wan2.2 Animate Action Transfer do ComfyUI#

• VHS_LoadVideo (#275). Carrega o vídeo de condução e extrai áudio. Use o limite de quadros ao testar ou iterar; uma vez que você bloqueie aparência e movimento, remova o limite para renderizações de comprimento total. Mantenha o FPS original se você quiser que o movimento se sinta idêntico ao original, ou force um novo FPS se precisar de uma cadência de entrega específica.
• WanVideoAnimateEmbeds (#295). Combina identidade (visão CLIP), pose, e sinais de face em incorporações que dirigem o modelo. Ajuste pose_strength para decidir quão firmemente o movimento segue a fonte e face_strength para priorizar similaridade facial; menor força de face pode ajudar personagens estilizados, anime ou animais.
• WanVideoContextOptions (#270). Configura janela de contexto temporal, passo e sobreposição que controlam quantos quadros vizinhos o modelo considera. Maior contexto oferece continuidade mais suave; contexto mais curto pode preservar mudanças nítidas em ação rápida. Mantenha configurações de contexto consistentes quando você alterar FPS ou resolução.
• WanVideoUni3C_embeds (#344). Gera orientação opcional de câmera/estrutura. Aumente strength quando você ver oscilações de câmera ou zooms não intencionais; diminua se a orientação começar a lutar contra seu enquadramento criativo.
• WanVideoLoraSelectMulti (#276). Empilha Wan LoRAs para estilo, velocidade, relighting ou inpainting. Comece com um LoRA em força moderada, então adicione outros apenas conforme necessário; mesclar muitos LoRAs fortes pode desestabilizar a identidade.
• WanVideoSampler (#367). O amostrador de difusão principal para Wan2.2 Animate. Scheduler, força de denoising e contagem de etapas interagem; aumentar etapas melhora detalhes mas custa tempo, enquanto maior denoising aumenta reescrita de movimento. Se você usar Uni3C, ajuste sua força antes de aumentar etapas.
• PoseAndFaceDetection (#235). Extrai pose de corpo inteiro e recortes de face do vídeo de condução. Deixe o interruptor “ator com máscara/capacete” desligado a menos que o rosto do performer esteja totalmente oculto; habilitá-lo em rostos visíveis pode silenciar expressões.
• VHS_VideoCombine (#285). Exportador MP4 de alta qualidade com suporte a áudio. Use trim_to_audio para sincronizar rigidamente o vídeo com música ou diálogo e ajuste crf para o trade-off de tamanho/qualidade. Mantenha pix_fmt em um valor amigável para transmissão se você estiver entregando para editores ou plataformas sociais.

Extras opcionais#

• Prepare entradas: use uma imagem alvo limpa e bem iluminada e um clipe de condução com mínimo desfoque de movimento para melhores pontos-chave.
• Combine proporção: escolha 16:9 ou 9:16 cedo; o fluxo de trabalho auto-escalona imagens para que o vídeo final não tenha letterbox inesperado.
• Dicas de estabilidade: se você ver deriva de braço ou perna, aumente pose_strength; se a identidade derivar, eleve a influência de visão CLIP ou simplifique empilhamento de LoRA.
• Controle de câmera: habilite Uni3C apenas quando precisar de estabilização de câmera; mantê-lo desligado frequentemente resulta em movimento mais cinematográfico quando a fonte é manual.
• Iteração: renderize intervalos curtos de quadros primeiro, então exporte a sequência completa uma vez que movimento e aparência estejam ajustados.

Este fluxo de trabalho Wan2.2 Animate Action Transfer traz transferência de ação confiável para ComfyUI com padrões práticos e espaço para crescimento. Carregue sua imagem e vídeo de condução, defina força de pose e face, escolha Uni3C se necessário, e exporte um MP4 polido.

Agradecimentos#

Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos imensamente à Wan-AI pelo modelo oficial Wan2.2 Animate, Kijai pelos nós ComfyUI Wan (ComfyUI-WanVideoWrapper e ComfyUI-WanAnimatePreprocess), e às equipes RunningHub e RunComfy por compartilharem fluxos de trabalho ComfyUI por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• Fonte do fluxo de trabalho RunningHub
  • Docs / Notas de Lançamento: Publicação RunningHub
• Fluxo de trabalho de Salvar na Nuvem RunComfy
  • Docs / Notas de Lançamento: Fluxo de trabalho compartilhado RunComfy
• Modelo oficial Wan-AI/Wan2.2 Animate
  • Hugging Face: Wan-AI/Wan2.2-Animate-14B
• Nós kijai/ComfyUI-WanVideoWrapper
  • GitHub: kijai/ComfyUI-WanVideoWrapper
• Ativos do modelo FP8 ComfyUI Wan2.2 Animate de Kijai
  • Hugging Face: Kijai/WanVideo_comfy_fp8_scaled
• Nós kijai/ComfyUI-WanAnimatePreprocess
  • GitHub: kijai/ComfyUI-WanAnimatePreprocess

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.