I nodi ComfyUI-CogVideoXWrapper e il flusso di lavoro associato sono completamente sviluppati da Kijai. Diamo tutto il dovuto credito a Kijai per questo lavoro innovativo. Sulla piattaforma RunComfy, stiamo semplicemente presentando i contributi di Kijai alla comunità. È importante notare che attualmente non esiste alcuna connessione formale o partnership tra RunComfy e Kijai. Apprezziamo profondamente il lavoro di Kijai!
CogVideoX Tora
Tora introduce un nuovo quadro per generare video di alta qualità sfruttando la guida basata sulla traiettoria in un modello di trasformatore di diffusione. Concentrandosi sulle traiettorie di movimento, Tora ottiene una sintesi video più realistica e temporalmente coerente. Questo approccio colma il divario tra la modellazione spazio-temporale e i quadri di diffusione generativa.
Si prega di notare che questa versione di Tora si basa sul modello CogVideoX-5B ed è destinata solo a scopi di ricerca accademica. Per i dettagli sulla licenza, fare riferimento qui.
1.1 Come utilizzare il flusso di lavoro CogVideoX Tora?
Questo è il flusso di lavoro CogVideoX Tora, i nodi sul lato sinistro sono ingressi, quelli al centro sono nodi di elaborazione tora e quelli a destra sono i nodi di uscita.
- Trascina e rilascia la tua immagine orizzontale nel nodo di ingresso.
- Scrivi i tuoi prompt di azione
- Crea un percorso di traiettoria
1.2 Carica Immagine di Input
- Carica, trascina e rilascia o copia e incolla (Ctrl+V) la tua immagine nel nodo di caricamento dell'immagine
[!CAUTION] Funzioneranno solo immagini in formato orizzontale con dimensioni - 720*480. Altre dimensioni daranno errore.
1.3 Aggiungi i tuoi Prompt Positivi e Negativi
Positivo: Inserisci le azioni che si svolgono con il Soggetto basato sulla Traiettoria definita nel nodo di traiettoria (movimento, flusso....ecc.).Negativo: Inserisci ciò che non vuoi che accada (Mani distorte, sfocate...ecc.)
1.4 Crea Traiettoria per il movimento
Qui imposti il percorso della Traiettoria del movimento del soggetto nella foto caricata.
points_to_sample: Questo imposta il numero di fotogrammi per Rendering, o la durata del tuo video in fotogrammi.mask_width: Predefinito è 720. NON CAMBIARE!mask_height: Predefinito è 480. NON CAMBIARE!
Guida al nodo:
- Shift + clic per aggiungere un punto di controllo alla fine. Ctrl + clic per aggiungere un punto di controllo (suddividere) tra due punti.
- Clic destro su un punto per eliminarlo.
- Nota che non puoi eliminare dall'inizio/fine.
- Clic destro sulla tela per il menu contestuale:
- Queste sono opzioni puramente visive, non influenzano l'output:
Attiva/disattiva la visibilità delle maniglie
- Mostra punti campione: mostra i punti da restituire.
- Il valore di points_to_sample imposta il numero di campioni
- restituiti dalla spline disegnata stessa, questo è indipendente dai
- punti di controllo effettivi, quindi il tipo di interpolazione conta.
Sampling_method:
- time: campiona lungo l'asse del tempo, usato per i programmi
- path: campiona lungo il percorso stesso, utile per le coordinate
1.5 Carica Modelli CogVideoX & Tora
Questi sono i nodi downloader del modello, scaricheranno automaticamente i modelli nel tuo comfyui in 2-3 minuti.
1.6 Campionatore CogVideo
Steps: Questo valore decide la qualità del tuo render. Mantieni tra 25 - 35 per il miglior valore efficiente.cfg: Il valore predefinito è 6.0 per il campionamento CogVideo.denoising strengtheScheduler: Non cambiare questo.
1.7 Pesi e Forza della Traiettoria
Questo nodo imposterà la forza della tua traiettoria di movimento.
strength: Un valore alto darà una figura distorta o un punto volante. Usa tra 0.5 - 0.9.start_percent: Usa questo valore per facilitare l'effetto del movimento di forza.end_percent: - Un valore alto darà una figura distorta o un punto volante. Usa tra 0.3 - 0.7
1.8 Uscite
Questi nodi ti daranno 3 uscite.
- Video Renderizzato di Uscita
- Percorso della traiettoria sovrapposto al video renderizzato
- Video della traiettoria su sfondo nero
"CogVideoX Tora: Trasformatore di Diffusione Orientato alla Traiettoria per la Generazione Video" presenta un approccio innovativo alla generazione video introducendo la guida basata sulla traiettoria all'interno di un quadro di trasformatore di diffusione. A differenza dei modelli di sintesi video tradizionali che faticano a mantenere la coerenza temporale e il movimento realistico, CogVideoX Tora si concentra esplicitamente sulla modellazione delle traiettorie di movimento. Questo consente al sistema di generare video coerenti e visivamente convincenti comprendendo come oggetti ed elementi evolvono nel tempo. Combinando la potenza dei modelli di diffusione, noti per la generazione di immagini di alta qualità, con le capacità di ragionamento temporale dei trasformatori, CogVideoX Tora colma il divario tra la modellazione spaziale e temporale.
Il meccanismo orientato alla traiettoria di CogVideoX Tora fornisce un controllo dettagliato sui movimenti degli oggetti e le interazioni dinamiche, rendendolo particolarmente adatto per applicazioni che richiedono una guida precisa del movimento, come l'editing video, l'animazione e la generazione di effetti speciali. La capacità del modello di mantenere la coerenza temporale e le transizioni realistiche ne aumenta l'applicabilità nella creazione di contenuti video fluidi e coerenti. Integrando priorità di traiettoria, CogVideoX Tora non solo migliora la dinamica del movimento ma riduce anche gli artefatti spesso visti nella generazione basata su fotogrammi. Questa innovazione stabilisce un nuovo punto di riferimento per la sintesi video, offrendo uno strumento potente per creatori e sviluppatori in campi come il cinema, la realtà virtuale e l'AI basata su video.