Self Forcing : Génération autorégressive de vidéo à partir de keyframes#

Self Forcing est un modèle avancé de génération vidéo basé sur des keyframes. Self Forcing permet une synthèse vidéo fluide et de haute qualité en générant du mouvement entre un keyframe de début et de fin, guidé par des prompts textuels descriptifs.

Construit sur des architectures de diffusion vidéo autorégressives avec KV caching, Self Forcing excelle dans la génération de mouvement temporellement cohérent et préservant l'identité entre les frames. L'approche conjointe keyframe-texte de Self Forcing permet des transitions fluides, tout en maintenant la structure et le style du sujet tout au long de la vidéo générée.

Pourquoi utiliser Self Forcing ?#

Self Forcing offre :

• Génération basée sur les keyframes : Self Forcing utilise des images de référence de début et de fin pour contrôler l'apparence et le mouvement
• Contrôle prompt + keyframe : Self Forcing combine des descriptions textuelles créatives avec une structure de référence
• Mouvement autorégressif : Self Forcing fournit des transitions fluides et temporellement cohérentes entre les frames
• Préservation de l'identité : Self Forcing maintient la fidélité du sujet à travers les séquences générées
• Idéal pour la création vidéo efficace : Self Forcing est parfait pour la narration basée sur les personnages, l'animation cinématographique et la synthèse vidéo conceptuelle

Que vous génériez des animations, des séquences cinématographiques ou des vidéos IA avec une identité cohérente, Self Forcing vous offre un contrôle créatif total tout en assurant un mouvement fluide et réaliste avec la technologie Self Forcing.

Images d'entrée#

Dans cette section, vous téléchargerez vos images de Keyframe de début et Keyframe de fin pour Self Forcing. Ces deux images définissent l'apparence de début et de fin de votre vidéo générée par Self Forcing.

• Téléchargez les deux images de référence en utilisant les nœuds Load Image fournis pour Self Forcing.
• Utilisez les nœuds optionnels de redimensionnement et recadrage pour ajuster vos images pour un alignement et un rapport d'aspect optimaux de Self Forcing.
• Des keyframes correctement alignés et bien recadrés améliorent la cohérence du mouvement de Self Forcing tout au long de la séquence générée.

Durée de la vidéo#

Définissez le nombre total de frames que votre vidéo Self Forcing va générer.

• Des comptages de frames plus longs permettent des transitions plus progressives et fluides entre les keyframes dans Self Forcing.
• Des comptages de frames plus courts produisent des transitions Self Forcing plus rapides.
• Plage typique de Self Forcing : 16-48 frames selon la durée souhaitée et la complexité du mouvement.

Modèle#

Ce groupe charge le modèle de diffusion vidéo autorégressif Self Forcing. Le workflow Self Forcing sélectionne automatiquement la bonne version du modèle.

• Self Forcing est construit sur un déroulement autorégressif avec KV caching.
• Self Forcing assure une génération de mouvement stable et temporellement cohérente.
• Self Forcing permet l'inférence en temps réel sur des GPU haut de gamme comme la RTX 4090.

Prompts#

Dans cette section, vous pouvez saisir votre prompt textuel pour guider la génération Self Forcing.

• Combinez les prompts avec vos keyframes pour influencer le style, l'arrière-plan ou le contexte de mouvement de Self Forcing.
• Utilisez un langage descriptif et clair pour maximiser le contrôle créatif de Self Forcing.
• Les prompts négatifs peuvent également être utilisés pour supprimer les éléments indésirables dans Self Forcing.

Sorties#

Une fois la génération Self Forcing terminée :

• Votre vidéo Self Forcing sera automatiquement sauvegardée dans le dossier Comfyui > output de votre répertoire ComfyUI.
• Les fichiers Self Forcing sont stockés sous forme de clips vidéo (MP4 ou séquences d'images selon la configuration).

Remerciements#

Ce workflow utilise le modèle Self Forcing développé par guandeh. Le workflow Self Forcing intègre les nœuds Wan Video Wrapper de kijai pour permettre une génération vidéo Self Forcing transparente dans ComfyUI. Pleine reconnaissance aux deux auteurs pour leur développement original du modèle Self Forcing et leur travail d'intégration.

GitHub Repository: https://github.com/guandeh17/Self-Forcing