Substituição de Personagem & Pose & Fundo V3 | Wan2.2 Animate + SAM3.1 + SDPose

Substituição de Personagem & Pose & Fundo V3 — Wan2.2 Animate troca de personagem de vídeo, transferência de pose e controle de fundo#

Este fluxo de trabalho ComfyUI transforma um clipe de movimento de origem e uma imagem de referência única em um novo vídeo onde a identidade do personagem, a pose e o fundo estão todos sob seu controle. A Substituição de Personagem & Pose & Fundo V3 mantém a estrutura de movimento de origem estável enquanto troca o sujeito, transfere o comportamento do corpo e da face, e opcionalmente substitui ou mistura a cena.

Projetado para criadores que precisam de um pipeline rápido e guiado, ele combina Wan2.2 Animate com segmentação SAM 3.1 e SDPose para mascaramento robusto de pessoas e orientação de pose. Use-o para substituição de personagem, animação de transferência de pose, ou renovação completa de cena em uma tela com alternadores práticos e pré-visualizações.

Modelos principais no fluxo de trabalho ComfyUI Substituição de Personagem & Pose & Fundo V3#

• Wan2.2 Animate 14B. A espinha dorsal de vídeo generativo que renderiza os quadros finais a partir de imagem, pose, e orientação de texto. Suporta condicionamento de imagem e adaptadores LoRA para controle de estilo ou realce. Model card
• SAM 3.1. Um modelo de segmentação de alta qualidade usado para extrair ou refinar a máscara da pessoa a partir de quadros ou imagens de referência, gerando composições limpas e repinturas. Checkpoints
• SDPose. Um kit de ferramentas de extração de pontos-chave do corpo inteiro e desenho usado para criar mapas de pose precisos e recortes de face que direcionam a transferência de movimento e expressão. Também fornece pesos de detecção RT-DETR usados neste gráfico. Repository
• ViTPose-L WholeBody ONNX. Um estimador de pontos-chave de múltiplas pessoas forte usado pelos nós de pré-processamento para marcos densos do corpo, mãos e face. Checkpoint

Como usar o fluxo de trabalho ComfyUI Substituição de Personagem & Pose & Fundo V3#

O fluxo de trabalho tem três pilares: construção de orientação, controle de fundo e renderização. A orientação vem da sua imagem de identidade mais sinais de pose e face extraídos do clipe de movimento. O controle de fundo oferece três modos intercambiáveis. A renderização usa Wan2.2 Animate com LoRAs opcionais, e depois exporta um vídeo pronto para compartilhar.

Carregamento de imagem#

Carregue sua imagem de identidade ou personagem alvo no grupo de Carregamento de imagem. Ela é redimensionada para o modelo e pré-visualizada para verificações rápidas. Esta imagem define a aparência para Substituição de Personagem & Pose & Fundo V3, enquanto o movimento é retirado do clipe de origem. Se a imagem tiver um sujeito limpo, os resultados rastrearão a identidade de forma mais confiável.

Carregamento de vídeo#

Importe a fonte de movimento no grupo de Carregamento de vídeo usando VHS_LoadVideo (#63). O nó expõe a taxa de quadros e o total de quadros para agendamento a jusante e determina quantos quadros o renderizador produzirá. O áudio é transmitido para a exportação final, se fornecido. Use os widgets de arquivo para cortar ou subamostrar quando quiser pré-visualizações mais curtas.

Zona de face e pose#

A zona de Face & pose constrói dois fluxos de orientação chave. Ela detecta pessoas e faces, depois extrai pontos-chave do corpo inteiro com SDPoseKeypointExtractor (#690) e os desenha em uma imagem de controle limpa via SDPoseDrawKeypoints (#688). Um detector auxiliar como RTDETR_detect (#771) e o carregador de pré-processamento fornecem caixas robustas para corpo e face. Para fotos de múltiplas pessoas, ative o controle “Detecção de múltiplas pessoas” e o interruptor “Fonte de detecção” para escolher se deseja detectar poses na fonte ou no ramo substituído pelo fundo.

Máscara e refinamento SAM 3.1#

O grupo de máscara Sam3.1 cria a máscara do sujeito com SAM3_Detect (#753). Você pode guiá-la com texto via CLIPTextEncode (#754) e ajustar a seleção com cliques usando PointsEditor (#758). Dois refinadores então tornam a produção do mate pronta: GrowMaskWithBlur (#502) expande suavemente e desfoca as bordas, e BlockifyMask (#401) nivela os limites do bloco para evitar contornos irregulares. Uma pré-visualização de sobreposição ao vivo (DrawMaskOnImage (#391)) ajuda você a confirmar o recorte antes de renderizar.

Zona de substituição de fundo#

Você pode:

• Manter a cena original.
• Substituir por uma foto estática usando LoadImage (#785).
• Substituir por um vídeo dinâmico usando VHS_LoadVideo (#790).

Um simples alternador seleciona o comportamento, e o ramo que você escolher é redimensionado para corresponder aos quadros de movimento, depois composto com a máscara da pessoa. Se você precisar de um visual de palco de cor sólida, o subgrupo de tela verde fornece um fundo sólido que permanece estável em todos os quadros.

Opções de movimento Uni3C#

Para fotos que precisam de deriva de câmera adicional ou suavização de movimento, o grupo Uni3C carrega um modelo de controle e transforma o clipe de origem redimensionado em incorporações de movimento com WanVideoUni3C_ControlnetLoader (#538) e WanVideoUni3C_embeds (#546). Um controle de força e agendamento de início ou fim permitem que você esmaeça o efeito ao longo da sequência.

Substituição de personagem - estágio de incorporação#

WanVideoAnimateEmbeds (#62) funde tudo para o caminho de substituição de personagem: VAE, características de imagem CLIP-Vision, sua imagem de identidade, mapas de pose SDPose, recortes de face opcionais, a máscara da pessoa, e um guia de fundo opcional. Largura, altura e contagem de quadros são herdadas do vídeo para que o alinhamento de movimento permaneça exato. Use este modo quando quiser que o novo sujeito se mova exatamente como o ator original.

Transferência de movimento - estágio de incorporação#

Um segundo WanVideoAnimateEmbeds (#904) fornece um caminho de transferência de movimento em primeiro lugar que dispensa fundo e mascaramento quando você só precisa aplicar a pose e a expressão a um sujeito de imagem. Apenas um estágio de incorporação deve estar ativo por vez. Escolha o modo que corresponde ao seu objetivo, depois o Any-Switch a montante encaminha as incorporações selecionadas.

Zona de amostragem e controle LoRA#

WanVideoSamplerSettings (#530) reúne o modelo Wan2.2, as incorporações de imagem escolhidas, incorporações de texto opcionais, incorporações de movimento Uni3C, e sua semente. As pilhas LoRA são escolhidas com WanVideoLoraSelectMulti (#467) e aplicadas por WanVideoSetLoRAs (#48), o que é útil para realce, estilo, ou ajustes de estabilização. WanVideoSamplerFromSettings (#531) gera o vídeo latente, e WanVideoDecode (#28) o transforma em quadros.

Pré-visualização e exportação#

A zona de Pré-visualização reproduz quadros intermediários para verificações, e VHS_VideoCombine (#312) escreve o clipe final na taxa de quadros escolhida com passagem de áudio opcional. Um macro de prefixo de nome de arquivo já está configurado para que cada renderização seja carimbada com data e hora.

Nós principais no fluxo de trabalho ComfyUI Substituição de Personagem & Pose & Fundo V3#

WanVideoAnimateEmbeds (#62, #904) Este é o coração da montagem de orientação para Wan2.2 Animate docs. Ele mescla aparência, pose, máscara, e fundo opcional em um único fluxo de incorporações de imagem dimensionado para seu vídeo. Ajuste apenas o que importa: aumente pose_strength para travar mais próximo ao movimento de origem ou aumente face_strength quando a identidade e a área dos lábios devem rastrear mais de perto. Mantenha num_frames e a contagem de quadros do carregador de vídeo alinhados para evitar truncamento.

SAM3_Detect (#753) Gera o mate da pessoa usando SAM 3.1 checkpoints. Use condicionamento de prompt ou cliques de ponto quando a roupa se mistura ao fundo. Se o mate estiver ruidoso, reduza o escopo da seleção com caixas delimitadoras das ferramentas de detecção antes de refinar.

GrowMaskWithBlur (#502) e BlockifyMask (#401) Do repositório KJNodes repo, estes preparam máscaras para composição limpa. Crescer e desfocar esconderão as junções das bordas após a substituição do fundo, enquanto blockify evita artefatos de escada nos contornos do sujeito. Ajuste suavemente e pré-visualize com frequência.

WanVideoLoraSelectMulti (#467) e WanVideoSetLoRAs (#48) Estes nós conectam adaptadores LoRA dentro do Wan2.2 Animate wrapper. Use-os para ajustes de realce, recompensa, ou sensação de movimento. Mantenha a força total equilibrada com seu cfg e etapas do amostrador para que LoRAs guiem em vez de dominar.

WanVideoUni3C_ControlnetLoader (#538) e WanVideoUni3C_embeds (#546) Fornecem redirecionamento opcional de câmera e movimento dentro do mesmo amostrador docs. Use a força e o agendamento de início ou fim para mesclar o efeito. Para fotos de rastreamento muito apertadas, defina a força mais baixa para que o movimento do sujeito permaneça primário.

VHS_VideoCombine (#312) Do Video Helper Suite repo. Ele monta quadros no vídeo final e pode muxar áudio da fonte. Combine a taxa de quadros aqui com a taxa forçada do carregador para sincronização 1:1.

Extras opcionais#

• Se você notar pressão de memória em alta resolução ou clipes longos, ative o tiling VAE nos nós de codificação ou decodificação e reduza o tamanho do contexto nas configurações do amostrador.
• Quando as bordas do sujeito parecerem irregulares, aumente ligeiramente o crescimento da máscara, depois ajuste o tamanho do bloco antes de renderizar novamente.
• Se a cor ou a exposição mudar após a substituição, experimente um LoRA de realce em força modesta em vez de aumentar o CFG.
• Para cenas movimentadas, detecte poses no ramo de origem primeiro, depois mude a detecção para o ramo substituído apenas após a máscara estar confiável.
• Para estabilizar renderizações longas, mantenha uma seed fixa enquanto você itera em máscaras e LoRAs, depois randomize uma vez que o visual esteja travado.

Este fluxo de trabalho foi construído em torno de Wan2.2 Animate e seus companheiros de pré-processamento, com referências oficiais para leitura adicional: Wan2.2 Animate, ComfyUI-WanVideoWrapper, ComfyUI-WanAnimatePreprocess, SAM 3.1, SDPose, e KJNodes.

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos RunningHub pela referência do fluxo de trabalho, Wan-AI pelo modelo Wan2.2-Animate-14B, kijai pelo ComfyUI WanVideoWrapper e nós WanAnimatePreprocess, e Comfy-Org pelos modelos SAM3.1 e SDPose pelas suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
  • Docs / Release Notes: Workflow post
• Wan-AI/Wan2.2-Animate-14B
  • GitHub: Wan-Video/Wan2.2
  • Hugging Face: Wan-AI/Wan2.2-Animate-14B
  • arXiv: 2503.20314
• kijai/ComfyUI-WanVideoWrapper
  • GitHub: kijai/ComfyUI-WanVideoWrapper
• kijai/ComfyUI-WanAnimatePreprocess
  • GitHub: kijai/ComfyUI-WanAnimatePreprocess
• Comfy-Org/sam3.1
  • GitHub: facebookresearch/sam3
  • Hugging Face: Comfy-Org/sam3.1
• Comfy-Org/SDPose
  • Hugging Face: Comfy-Org/SDPose

Nota: O uso dos modelos, conjuntos de dados e códigos referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.