SkyReels-A2 | Geração de Vídeo Multi-Elemento

SkyReels-A2: Tecnologia Avançada Element-to-Video

1. O que é o Fluxo de Trabalho ComfyUI SkyReels-A2?

SkyReels-A2 é um fluxo de trabalho avançado Element-to-Video (E2V) que combina várias imagens de referência em vídeos fluidos e gerados dinamicamente. Desenvolvido pela Skywork AI, esta tecnologia SkyReels-A2 permite integrar personagens, objetos e cenários enquanto mantém a identidade e a fidelidade visual de cada elemento. Ao contrário das abordagens tradicionais de imagem-para-vídeo, SkyReels-A2 aborda especificamente o desafio de preservar a fidelidade de referência para cada elemento enquanto cria interações naturais entre eles, tornando-o ideal para demonstrações virtuais de produtos, animações de personagens e composições de cenas complexas com integração ComfyUI SkyReels-A2.

2. Benefícios do ComfyUI SkyReels-A2:

• Integração Multi-Elemento com SkyReels-A2: Combine três elementos de referência distintos (pessoa, objeto/outra pessoa e cena) em um vídeo coeso.
• Preservação de Identidade: SkyReels-A2 mantém alta fidelidade às imagens de referência enquanto cria movimento e interações naturais.
• Composição Flexível: Controle as relações entre elementos através de prompts de texto que descrevem suas interações com o sistema SkyReels-A2.
• Controle de Resolução: Este fluxo de trabalho SkyReels-A2 permite ajustar resoluções de imagem de entrada para diferentes tipos de cena.
• Remoção de Fundo: Isola automaticamente os sujeitos dos fundos para uma melhor composição.
• Controle de Preenchimento Preciso: Ajuste fino do posicionamento e proeminência dos elementos com cálculos matemáticos de preenchimento no SkyReels-A2.
• Integração Fluida: Compatível com a tecnologia de geração de vídeo WAN2.1 para resultados SkyReels-A2 de alta qualidade.

3. Como Usar o Fluxo de Trabalho ComfyUI SkyReels-A2

3.1 Processo de Preparação de Imagens SkyReels-A2

Preparação de Imagens de Elementos para SkyReels-A2:

O fluxo de trabalho SkyReels-A2 possui 3 grupos principais de imagens:

Subject1Image no SkyReels-A2: O personagem principal/pessoa

• Carregue sua imagem no grupo "Subject1Image"
• Use o nó Mask Bounding Box para obter o enquadramento ideal
• Aplique Matemática Simples para cálculo de preenchimento (a-40)
• Redimensione para 640×480 ou 832×480 (dependendo do tipo de cena)
• Use ImageCompositeMasked para colocar o sujeito em um fundo limpo

Subject2Image no SkyReels-A2: O objeto ou personagem/pessoa secundário

• Carregue sua imagem no grupo "Subject2Image"
• Use o nó Mask Bounding Box para obter o enquadramento ideal
• Aplique Matemática Simples para cálculo de preenchimento (a-40)
• Coloque em um fundo limpo usando ImageCompositeMasked
• Redimensione para corresponder à resolução da imagem do sujeito

Importante: Para objetos menores como canetas, pincéis ou itens de mão, ajuste o parâmetro de largura no nó Resize Image para um valor menor (10-20) enquanto mantém keep_proportion definido como true. Isso controla o tamanho relativo do seu objeto na composição final e evita que objetos pareçam anormalmente grandes quando segurados por personagens.

BackgroundImage para SkyReels-A2: O ambiente

• Carregue sua imagem no grupo "BackgroundImage"
• Redimensione para corresponder à resolução escolhida (640×480 ou 832×480)
• Aplique corte central para manter a proporção de aspecto
• Use um valor de divisible_by mais alto (16) para garantir compatibilidade com SkyReels-A2

3.2 Processo de Composição de Elementos SkyReels-A2

Montagem em Lote SkyReels-A2:

1. Defina o ImageBatchRepeatInterleaving para 4 repetições
2. Certifique-se de que todas as imagens mantenham a mesma resolução e proporção de aspecto para um processamento SkyReels-A2 ideal

3.3 Configurações de Geração de Vídeo SkyReels-A2

Codificação de Texto SkyReels-A2:

1. Configure seu prompt para descrever a relação entre os elementos
2. Certifique-se de que todos os três elementos sejam mencionados

3.4 Diretrizes de Resolução SkyReels-A2

Para Retratos de Close-up no SkyReels-A2:

• Use resolução 640×480
• Ajuste o preenchimento para 20px em todos os lados (fórmula a-40)

Para Fotos de Corpo Inteiro com SkyReels-A2:

• Use resolução 832×480
• Ajuste o preenchimento para manter o enquadramento adequado

Para Múltiplos Sujeitos no SkyReels-A2:

• Experimente diferentes valores de preenchimento para controlar a proeminência dos elementos

4. Explicação Técnica da Tecnologia E2V SkyReels-A2

O fluxo de trabalho SkyReels-A2 usa uma abordagem de codificação de dois ramos:

1. Codificação de Características Gerais no SkyReels-A2: O CLIP Vision Encoder extrai representações semelhantes a tokens semelhantes a prompts de texto
2. Codificação de Características Espaciais com SkyReels-A2: O 3D VAE Encoder captura características espaciais detalhadas de cada elemento

Essas codificações são combinadas com prompts de texto que descrevem a relação desejada entre os elementos.

5. Otimização de Desempenho SkyReels-A2

Gerenciamento de VRAM SkyReels-A2:

• A nota no fluxo de trabalho SkyReels-A2 avisa que tamanhos de lote de 10 podem facilmente causar erros de falta de memória
• Para testes, use 33 quadros; aumente para a produção final SkyReels-A2

Nós de Otimização SkyReels-A2:

• Use_jit: true (para ambos os nós de remoção de fundo no SkyReels-A2)
• WanVideo TECache: habilitado com latent_scale_factor: 0.25
• Gerenciamento de VRAM WanVideo: offload_percent: 1.00
• Habilite a opção use_non_blocking para melhor eficiência de memória com SkyReels-A2

Agradecimentos

Este fluxo de trabalho é baseado no modelo SkyReels-A2 desenvolvido pela equipe de pesquisa da Skywork AI. O modelo original e a pesquisa estão disponíveis em . A implementação ComfyUI do SkyReels-A2 é fornecida por . Todo o crédito vai para os autores originais por seu trabalho inovador em transformadores de difusão de vídeo e tecnologia de elementos-para-vídeo SkyReels-A2.