Transferência de Câmera e Movimento Referenciada por Vídeo Uni3C

1. O que é o Workflow ComfyUI Uni3C?

O workflow Uni3C integra o modelo avançado Uni3C (Unifying Precisely 3D-Enhanced Camera and Human Motion Controls) no ambiente ComfyUI. Desenvolvido pela DAMO Academy (Alibaba Group), o Uni3C aborda o desafio fundamental da geração de vídeo controlável unificando o controle de trajetória da câmera e o controle de movimento humano dentro de uma estrutura 3D aprimorada.

Construído na arquitetura de transformador de difusão FLUX e com base no modelo Wan2.1, o Uni3C introduz o PCDController - um módulo de controle plug-and-play que utiliza nuvens de pontos não projetadas derivadas da estimativa de profundidade monocular. Essa abordagem permite controle preciso da câmera dentro do Uni3C enquanto mantém as capacidades generativas de modelos de difusão de vídeo em larga escala. O sistema Uni3C emprega modelos de personagem SMPL-X e orientação global do mundo 3D para alcançar geração de vídeo espacialmente consistente em cenas ambientais e personagens humanos.

2. Benefícios do Uni3C:

• Estrutura 3D-Enhanced Unificada: Uni3C processa simultaneamente trajetórias de câmera e movimento humano em um espaço mundial 3D coerente.
• Arquitetura PCDController: Com o controlador leve de 0.95B de parâmetros, o Uni3C aproveita nuvens de pontos não projetadas da estimativa de profundidade monocular, sem comprometer o modelo base de 14B de parâmetros.
• Integração SMPL-X: Uni3C fornece suporte avançado para modelos de corpo humano em 3D.
• Utilização de Priorização Geométrica: A compreensão geométrica 3D baseada em nuvem de pontos do Uni3C fornece controle robusto da câmera a partir de imagens únicas.
• Orientação Mundial 3D Global: Uni3C assegura alinhamento de transformação rígida entre nuvens de pontos ambientais e personagens SMPL-X para geração de vídeo espacialmente consistente.

3. Como Usar o Workflow Uni3C

Uni3C opera através da extração de referência de vídeo, que analisa vídeos de referência para entender ambos os movimentos de câmera e movimentos humanos, e então aplica os padrões para gerar novos vídeos a partir das imagens de entrada. Essa abordagem permite controle preciso com Uni3C sem ajuste manual de parâmetros.

3.1 Método 1: Controle de Câmera Referenciado por Vídeo

Melhor para:

Extrair movimentos de câmera de vídeos de referência e aplicá-los a novas cenas usando Uni3C.

Processo de Configuração:

1. Carregar Vídeo de Referência: Faça upload de qualquer vídeo com movimento de câmera interessante no nó Load Video (Upload)
   • Bons Exemplos: Vídeos com câmera aproximando-se de sujeitos, filmagens a pé com movimento natural da cabeça, panorâmicas cinematográficas, tomadas orbitais
   • Ponto Chave: Qualquer vídeo com movimento claro de câmera funciona - desde gravações de telefone até cinematografia profissional com Uni3C.
2. Carregar Imagem Alvo: Faça upload de sua imagem base no nó Load Image (funciona com qualquer estilo: realista, anime, arte, gerado por IA)
3. Escreva Seu Prompt: Descreva sua cena desejada na área de prompt de texto para Uni3C
4. Configure Configurações: O workflow Uni3C inclui parâmetros otimizados para melhoria de velocidade 4x
5. Gerar: Execute o workflow para transferir o movimento de câmera do vídeo de referência para sua cena com Uni3C.

Dicas Avançadas:

• Correspondência de Direção de Movimento: Os melhores resultados ocorrem quando a direção do movimento do vídeo de referência se alinha com a composição da cena pretendida para **Uni3C.
• Coordenação de Prompt: Escreva prompts que complementem o estilo de movimento da câmera para maior coerência com Uni3C.
• Qualidade de Referência: Escolha vídeos de referência com movimentos de câmera estáveis e claros para resultados ideais com Uni3C.

3.2 Método 2: Transferência de Movimento Humano

Melhor para:

Transferir movimentos humanos de vídeos de referência para diferentes personagens usando Uni3C.

Processo de Configuração:

1. Vídeo de Referência com Movimento Humano: Faça upload de um vídeo contendo os movimentos humanos que você deseja transferir
2. Imagem do Personagem Alvo: Carregue uma imagem do personagem que você deseja animar
3. Controle de Movimento via Prompts:
   • Preservar Movimento Original: Use descrições gerais como "uma mulher caminhando" para manter o movimento de referência com Uni3C.
   • Modificar Ações: Seja específico para alterar movimentos: "uma mulher penteando o cabelo" alterará gestos das mãos enquanto preserva o fluxo geral de movimento com Uni3C.

Principais Vantagens:

• Sem Esqueleto Necessário: Ao contrário da captura de movimento tradicional, Uni3C entende o movimento humano sem rigging complexo.
• Preservação de Detalhes: Uni3C mantém acessórios, penteados e detalhes de roupas durante a transferência de movimento.
• Controle Simultâneo: Tanto o movimento da câmera quanto o movimento humano são transferidos juntos do mesmo vídeo de referência usando Uni3C.

Arquitetura de Otimização de Desempenho: O workflow Uni3C implementa várias estratégias de otimização, incluindo redução de tamanho oculto de 5120 para 1024 no PCDController, camadas de projeção linear inicializadas em zero e injeção de recursos de controle de câmera apenas nas primeiras 20 camadas do modelo base. A otimização de correspondência de fluxo com passos de amostragem reduzidos (10 vs 20+) e escalas de orientação CFG ajustadas proporciona até 4x de melhoria de velocidade de processamento no Uni3C enquanto mantém a qualidade de geração.

3.3 Configurações de Desempenho Otimizado

Configuração de Aumento de Velocidade 4x: Com base nas otimizações integradas do Uni3C, as seguintes configurações proporcionam processamento dramaticamente mais rápido:

Configurações do Nó WanVideo Sampler:

• Steps: 10 (reduzido do padrão 20+)
• CFG: 1.0-1.5 (otimizado para equilíbrio velocidade-qualidade)
• Shift: 5.0-7.0 (autor recomenda 7 para melhores resultados, 5 para processamento mais rápido com Uni3C)
• Scheduler: UniPC (agendador otimizado para Uni3C)

Características Principais de Desempenho:

• Integração AnimateDiff: Uni3C aproveita otimizações AnimateDiff originalmente projetadas para texto para vídeo, mas eficazes para geração de imagem para vídeo.
• Redução Inteligente de Parâmetros: Como a imagem para vídeo começa com conteúdo visual existente, menos passos de remoção de ruído são necessários em comparação com a geração de texto para vídeo com Uni3C.
• Processamento Otimizado: Uni3C permite que vídeos de 70 quadros sejam concluídos em ~4-5 minutos (vs ~27 minutos com configurações originais).

Opções de Qualidade vs Velocidade:

• Velocidade Máxima: Steps=10, CFG=1.0, Shift=5 → ~4 minutos para 70 quadros com Uni3C
• Equilibrado: Steps=10, CFG=1.5, Shift=7 → ~5 minutos para 70 quadros com Uni3C
• Maior Qualidade: Steps=15, CFG=2.0, Shift=7 → ~8-10 minutos para 70 quadros com Uni3C

3.4 Compreensão dos Componentes do Workflow

Seção de Processamento de Vídeo de Referência:

• Load Video (Upload): Aceita MP4, AVI e outros formatos de vídeo padrão para referência de movimento no Uni3C.
• WanVideo Encode: Processa o vídeo de referência para extrair trajetórias de câmera e padrões de movimento para Uni3C.
• Uni3C ControlNet Loader: Carrega o modelo de controle especializado Uni3C para compreensão de movimento.

Seção de Geração de Imagem para Vídeo:

• Load Image: Sua imagem alvo que será animada com o movimento de referência pelo Uni3C.
• WanVideo Image/ToVideo Encode: Converte sua imagem estática em um formato adequado para geração de vídeo pelo Uni3C.
• WanVideo Sampler: Motor de geração principal com configurações otimizadas para melhoria de velocidade 4x no Uni3C.

Processamento de Saída:

• WanVideo Decode: Converte o vídeo latente gerado de volta para o formato visível do Uni3C.
• Video Combine: Monta o arquivo de vídeo final com taxa de quadros e codificação adequadas do Uni3C.

4. Dicas Avançadas e Melhores Práticas

Escolhendo Materiais de Referência para Uni3C

• Para Transferência de Movimento: Selecione vídeos com movimentos claros e visíveis onde a pessoa permanece principalmente no quadro para Uni3C.
• Para Controle de Câmera: Qualquer vídeo com perspectiva interessante ou movimento de câmera desejado para Uni3C.
• Melhores Resultados: Quando a direção do movimento de referência corresponde à direção de saída pretendida com Uni3C.

Melhores Práticas de Engenharia de Prompt para Uni3C

• Princípio "Não Perturbe": Para transferência pura de movimento sem mudanças de personagem, use prompts simples e gerais com Uni3C.
• Mudanças de Ação Específicas: Seja detalhado quando quiser modificar o que o personagem está fazendo com Uni3C.
• Consistência de Personagem: Foque os prompts na manutenção da aparência do personagem com Uni3C.

Otimização de Qualidade para Uni3C

• Consistência de Movimento: Evite mudanças súbitas em vídeos de referência para resultados mais suaves com Uni3C.
• Estabilidade de Quadro: Certifique-se de que os materiais de referência tenham iluminação e enquadramento consistentes para Uni3C.

5. Agradecimentos

Este workflow é alimentado por Uni3C, desenvolvido pela DAMO Academy (Alibaba Group), Universidade Fudan, e Hupan Lab. A integração ComfyUI é baseada no excelente trabalho de kijai (), com otimizações adicionais e design de workflow para tornar esta poderosa tecnologia Uni3C acessível a criadores em todo o mundo.