Self Forcing: Generazione video autoregressiva da keyframe#

Self Forcing è un modello avanzato di generazione video basato su keyframe. Self Forcing consente una sintesi video fluida e di alta qualità generando movimento tra un keyframe iniziale e finale, guidato da prompt testuali descrittivi.

Costruito su architetture di diffusione video autoregressive con KV caching, Self Forcing eccelle nella generazione di movimento temporalmente coerente e con preservazione dell'identità tra i frame. L'approccio congiunto keyframe-testo di Self Forcing permette transizioni fluide, mantenendo la struttura e lo stile del soggetto durante tutto il video generato.

Perché usare Self Forcing?#

Self Forcing offre:

• Generazione basata su keyframe: Self Forcing utilizza immagini di riferimento iniziali e finali per controllare aspetto e movimento
• Controllo prompt + keyframe: Self Forcing unisce descrizioni testuali creative con la struttura di riferimento
• Movimento autoregressivo: Self Forcing fornisce transizioni fluide e temporalmente coerenti tra i frame
• Preservazione dell'identità: Self Forcing mantiene la fedeltà del soggetto nelle sequenze generate
• Ideale per la creazione video efficiente: Self Forcing è perfetto per storytelling basato su personaggi, animazione cinematografica e sintesi di concept video

Che tu stia generando animazioni, sequenze cinematografiche o video AI con identità coerente, Self Forcing ti offre pieno controllo creativo garantendo un movimento fluido e realistico con la tecnologia Self Forcing.

Immagini di input#

In questa sezione, caricherai le tue immagini Keyframe iniziale e Keyframe finale per Self Forcing. Queste due immagini definiscono l'aspetto iniziale e finale del tuo video generato con Self Forcing.

• Carica entrambe le immagini di riferimento usando i nodi Load Image forniti per Self Forcing.
• Usa i nodi opzionali di ridimensionamento e ritaglio per regolare le tue immagini per un allineamento e rapporto d'aspetto ottimali di Self Forcing.
• Keyframe correttamente allineati e ben ritagliati migliorano la coerenza del movimento di Self Forcing nella sequenza generata.

Durata del video#

Imposta il numero totale di frame che il tuo video Self Forcing genererà.

• Conteggi di frame più lunghi consentono transizioni più graduali e fluide tra i keyframe in Self Forcing.
• Conteggi di frame più corti producono transizioni Self Forcing più rapide.
• Range tipico di Self Forcing: 16-48 frame a seconda della lunghezza desiderata e della complessità del movimento.

Modello#

Questo gruppo carica il modello di diffusione video autoregressivo Self Forcing. Il workflow Self Forcing seleziona automaticamente la versione corretta del modello.

• Self Forcing è costruito sul rollout autoregressivo con KV caching.
• Self Forcing garantisce una generazione di movimento stabile e temporalmente coerente.
• Self Forcing consente l'inferenza in tempo reale su GPU di fascia alta come RTX 4090.

Prompt#

In questa sezione, puoi inserire il tuo prompt testuale per guidare la generazione Self Forcing.

• Combina i prompt con i tuoi keyframe per influenzare lo stile, lo sfondo o il contesto di movimento di Self Forcing.
• Usa un linguaggio descrittivo e chiaro per massimizzare il controllo creativo di Self Forcing.
• I prompt negativi possono essere usati anche per sopprimere elementi indesiderati in Self Forcing.

Output#

Una volta completata la generazione Self Forcing:

• Il tuo video Self Forcing verrà salvato automaticamente nella cartella Comfyui > output all'interno della tua directory ComfyUI.
• I file Self Forcing vengono memorizzati come clip video (MP4 o sequenze di immagini a seconda della configurazione).

Ringraziamenti#

Questo workflow utilizza il modello Self Forcing sviluppato da guandeh. Il workflow Self Forcing integra i nodi Wan Video Wrapper di kijai per consentire una generazione video Self Forcing senza soluzione di continuità all'interno di ComfyUI. Pieno riconoscimento a entrambi gli autori per il loro lavoro originale di sviluppo e integrazione del modello Self Forcing.

GitHub Repository: https://github.com/guandeh17/Self-Forcing