SkyReels-A2 | Generación de Video Multi-Elemento

SkyReels-A2: Tecnología Avanzada de Element-to-Video

1. ¿Qué es el Flujo de Trabajo SkyReels-A2 de ComfyUI?

SkyReels-A2 es un flujo de trabajo avanzado de Element-to-Video (E2V) que combina múltiples imágenes de referencia en videos fluidos y dinámicamente generados. Desarrollado por Skywork AI, esta tecnología SkyReels-A2 te permite integrar personajes, objetos y fondos mientras mantienes la identidad y fidelidad visual de cada elemento. A diferencia de los enfoques tradicionales de imagen a video, SkyReels-A2 aborda específicamente el desafío de preservar la fidelidad de referencia de cada elemento mientras crea interacciones naturales entre ellos, haciéndolo ideal para demostraciones de productos virtuales, animaciones de personajes y composiciones de escenas complejas con la integración SkyReels-A2 de ComfyUI.

2. Beneficios de ComfyUI SkyReels-A2:

• Integración Multi-Elemento con SkyReels-A2: Combina tres elementos de referencia distintos (persona, objeto/otra persona y escena) en un video cohesivo.
• Preservación de Identidad: SkyReels-A2 mantiene alta fidelidad a las imágenes de referencia mientras crea movimientos e interacciones naturales.
• Composición Flexible: Controla las relaciones entre elementos mediante sugerencias de texto que describen sus interacciones con el sistema SkyReels-A2.
• Control de Resolución: Este flujo de trabajo SkyReels-A2 te permite ajustar las resoluciones de las imágenes de entrada para diferentes tipos de escena.
• Eliminación de Fondos: Aísla automáticamente los sujetos de los fondos para una mejor composición.
• Control Preciso de Relleno: Ajusta la colocación y prominencia de los elementos con cálculos matemáticos de relleno en SkyReels-A2.
• Integración Perfecta: Compatible con la tecnología de generación de video WAN2.1 para resultados de alta calidad en SkyReels-A2.

3. Cómo Usar el Flujo de Trabajo SkyReels-A2 de ComfyUI

3.1 Proceso de Preparación de Imágenes en SkyReels-A2

Preparación de Imágenes de Elementos para SkyReels-A2:

El flujo de trabajo SkyReels-A2 tiene 3 grupos principales de imágenes:

Subject1Image en SkyReels-A2: El personaje/principal

• Carga tu imagen en el grupo "Subject1Image"
• Usa el nodo Mask Bounding Box para obtener un encuadre óptimo
• Aplica Matemáticas Simples para el cálculo de relleno (a-40)
• Redimensiona a 640×480 o 832×480 (dependiendo del tipo de escena)
• Usa ImageCompositeMasked para colocar el sujeto en un fondo limpio

Subject2Image en SkyReels-A2: El objeto o personaje/secundario

• Carga tu imagen en el grupo "Subject2Image"
• Usa el nodo Mask Bounding Box para obtener un encuadre óptimo
• Aplica Matemáticas Simples para el cálculo de relleno (a-40)
• Coloca en un fondo limpio usando ImageCompositeMasked
• Redimensiona para que coincida con la resolución de tu imagen de sujeto

Importante: Para objetos más pequeños como bolígrafos, pinceles o elementos de mano, ajusta el parámetro de ancho en el nodo Resize Image a un valor más bajo (10-20) mientras mantienes keep_proportion en true. Esto controla el tamaño relativo de tu objeto en la composición final y evita que los objetos parezcan desproporcionadamente grandes cuando son sostenidos por los personajes.

BackgroundImage para SkyReels-A2: El entorno

• Carga tu imagen en el grupo "BackgroundImage"
• Redimensiona para que coincida con tu resolución elegida (640×480 o 832×480)
• Aplica recorte central para mantener la relación de aspecto
• Usa un valor divisible_por más alto (16) para asegurar la compatibilidad con SkyReels-A2

3.2 Proceso de Composición de Elementos en SkyReels-A2

Ensamblaje por Lotes de SkyReels-A2:

1. Configura el ImageBatchRepeatInterleaving a 4 repeticiones
2. Asegúrate de que todas las imágenes mantengan la misma resolución y relación de aspecto para un procesamiento óptimo de SkyReels-A2

3.3 Configuración de Generación de Video en SkyReels-A2

Codificación de Texto en SkyReels-A2:

1. Configura tu sugerencia para describir la relación entre los elementos
2. Asegúrate de que se mencionen los tres elementos

3.4 Guías de Resolución en SkyReels-A2

Para Retratos en Primer Plano en SkyReels-A2:

• Usa resolución 640×480
• Ajusta el relleno a 20px en todos los lados (fórmula a-40)

Para Toma de Cuerpo Completo con SkyReels-A2:

• Usa resolución 832×480
• Ajusta el relleno para mantener un encuadre adecuado

Para Múltiples Sujetos en SkyReels-A2:

• Experimenta con diferentes valores de relleno para controlar la prominencia del elemento

4. Explicación Técnica de la Tecnología E2V de SkyReels-A2

El flujo de trabajo SkyReels-A2 utiliza un enfoque de codificación de dos ramas:

1. Codificación de Características Generales en SkyReels-A2: El Codificador de Visión CLIP extrae representaciones similares a tokens similares a las sugerencias de texto
2. Codificación de Características Espaciales con SkyReels-A2: El Codificador VAE 3D captura características espaciales detalladas de cada elemento

Estas codificaciones se combinan con sugerencias de texto que describen la relación deseada entre los elementos.

5. Optimización de Rendimiento de SkyReels-A2

Gestión de VRAM de SkyReels-A2:

• La nota en el flujo de trabajo SkyReels-A2 advierte que los tamaños de lote de 10 pueden fácilmente causar errores de falta de memoria
• Para pruebas, usa 33 cuadros; aumenta para la producción final de SkyReels-A2

Nodos de Optimización de SkyReels-A2:

• Use_jit: true (para ambos nodos de eliminación de fondo en SkyReels-A2)
• WanVideo TECache: habilitado con latent_scale_factor: 0.25
• WanVideo VRAM Management: offload_percent: 1.00
• Habilita la opción use_non_blocking para una mejor eficiencia de memoria con SkyReels-A2

Agradecimientos

Este flujo de trabajo se basa en el modelo SkyReels-A2 desarrollado por el equipo de investigación de Skywork AI. El modelo y la investigación originales están disponibles en . La implementación de ComfyUI de SkyReels-A2 es proporcionada por . Todo el crédito va a los autores originales por su trabajo innovador en transformadores de difusión de video y tecnología de element-to-video de SkyReels-A2.