Self Forcing: Generación autorregresiva de video a partir de keyframes#

Self Forcing es un modelo avanzado de generación de video basado en keyframes. Self Forcing permite una síntesis de video suave y de alta calidad generando movimiento entre un keyframe inicial y final, guiado por prompts de texto descriptivos.

Construido sobre arquitecturas de difusión de video autorregresivas con KV caching, Self Forcing destaca en la generación de movimiento temporalmente consistente y con preservación de identidad entre frames. El enfoque conjunto keyframe-texto de Self Forcing permite transiciones fluidas, manteniendo la estructura y el estilo del sujeto a lo largo del video generado.

¿Por qué usar Self Forcing?#

Self Forcing ofrece:

• Generación basada en keyframes: Self Forcing usa imágenes de referencia inicial y final para controlar apariencia y movimiento
• Control prompt + keyframe: Self Forcing combina descripciones textuales creativas con estructura de referencia
• Movimiento autorregresivo: Self Forcing proporciona transiciones suaves y temporalmente consistentes entre frames
• Preservación de identidad: Self Forcing mantiene la fidelidad del sujeto a través de las secuencias generadas
• Ideal para creación de video eficiente: Self Forcing es perfecto para narrativa basada en personajes, animación cinematográfica y síntesis de video conceptual

Ya sea que estés generando animaciones, secuencias cinematográficas o videos de IA con identidad consistente, Self Forcing te brinda control creativo total mientras asegura un movimiento suave y realista con la tecnología Self Forcing.

Imágenes de entrada#

En esta sección, cargarás tus imágenes de Keyframe inicial y Keyframe final para Self Forcing. Estas dos imágenes definen la apariencia inicial y final de tu video generado con Self Forcing.

• Carga ambas imágenes de referencia usando los nodos Load Image proporcionados para Self Forcing.
• Usa los nodos opcionales de redimensionamiento y recorte para ajustar tus imágenes para una alineación y proporción óptimas de Self Forcing.
• Keyframes correctamente alineados y bien recortados mejoran la consistencia de movimiento de Self Forcing a lo largo de la secuencia generada.

Duración del video#

Establece el número total de frames que tu video Self Forcing generará.

• Conteos de frames más largos permiten transiciones más graduales y fluidas entre keyframes en Self Forcing.
• Conteos de frames más cortos resultan en transiciones Self Forcing más rápidas.
• Rango típico de Self Forcing: 16-48 frames dependiendo de la duración deseada y complejidad del movimiento.

Modelo#

Este grupo carga el modelo de difusión de video autorregresivo Self Forcing. El workflow Self Forcing selecciona automáticamente la versión correcta del modelo.

• Self Forcing está construido sobre rollout autorregresivo con KV caching.
• Self Forcing asegura generación de movimiento estable y temporalmente coherente.
• Self Forcing permite inferencia en tiempo real en GPUs de gama alta como RTX 4090.

Prompts#

En esta sección, puedes ingresar tu prompt de texto para guiar la generación Self Forcing.

• Combina prompts con tus keyframes para influir en el estilo, fondo o contexto de movimiento de Self Forcing.
• Usa lenguaje descriptivo y claro para maximizar el control creativo de Self Forcing.
• Los prompts negativos también se pueden usar para suprimir elementos no deseados en Self Forcing.

Salidas#

Una vez que la generación Self Forcing esté completa:

• Tu video Self Forcing se guardará automáticamente en la carpeta Comfyui > output dentro de tu directorio ComfyUI.
• Los archivos Self Forcing se almacenan como clips de video (MP4 o secuencias de imágenes dependiendo de la configuración).

Agradecimientos#

Este workflow usa el modelo Self Forcing desarrollado por guandeh. El workflow Self Forcing integra los nodos Wan Video Wrapper de kijai para permitir generación de video Self Forcing sin interrupciones dentro de ComfyUI. Crédito completo a ambos autores por su desarrollo original del modelo Self Forcing y trabajo de integración.

GitHub Repository: https://github.com/guandeh17/Self-Forcing