Cosmos-Predict2 | Text2Image & Video2World

Cos'è il Workflow ComfyUI di Cosmos-Predict2?

Il workflow ComfyUI di Cosmos-Predict2 porta il modello di base del mondo fisico di nuova generazione di NVIDIA a portata di mano, consentendo sia la generazione di immagini da testo di alta qualità che la trasformazione innovativa da video a mondo. Pensalo come una sfera di cristallo digitale che non solo crea immagini straordinarie da descrizioni testuali, ma prevede e genera sequenze video realistiche che seguono le leggi della fisica.

Questo workflow di Cosmos-Predict2 sfrutta un sofisticato modello di base con 2 miliardi di parametri specificamente progettato per scenari di intelligenza artificiale fisica. Cosa rende speciale Cosmos-Predict2? Non genera solo belle immagini - comprende la fisica, le interazioni ambientali e le dinamiche realistiche, rendendo Cosmos-Predict2 perfetto per la simulazione industriale, scenari di guida autonoma, pianificazione urbana e applicazioni di ricerca scientifica.

Caratteristiche e Vantaggi Chiave di Cosmos-Predict2

Modalità di Generazione Doppia: Cosmos-Predict2 supporta sia la generazione di immagini da testo per creare visuali statiche che la trasformazione da video a mondo per la previsione di scene dinamiche, tutto all'interno di un unico workflow ComfyUI di Cosmos-Predict2.

Precisione Fisica: A differenza dei generatori di immagini standard, Cosmos-Predict2 mantiene un'eccezionale precisione fisica e interattività ambientale, assicurando che i contenuti generati da Cosmos-Predict2 seguano la fisica e le dinamiche del mondo reale.

Applicazioni Professionali: Cosmos-Predict2 è progettato per casi d'uso seri, inclusi la simulazione industriale, lo sviluppo di guida autonoma, la visualizzazione della pianificazione urbana e la ricerca scientifica, dove la precisione è fondamentale.

Controllo Video Flessibile: Il componente di generazione video di Cosmos-Predict2 include il controllo opzionale del primo e dell'ultimo fotogramma, consentendo una direzione precisa sulle sequenze temporali e le transizioni di scena all'interno del workflow di Cosmos-Predict2.

Come Utilizzare Cosmos-Predict2 in ComfyUI

Workflow di Cosmos-Predict2 da Testo a Immagine

Imposta le dimensioni dell'immagine

• Usa il nodo EmptySD3LatentImage per definire la dimensione di output per la tua generazione Cosmos-Predict2:
  • Predefinito: 1024x1024 pixel
  • Regola larghezza e altezza in base alle tue esigenze di Cosmos-Predict2
  • Mantieni batch_size a 1 per la generazione di singole immagini Crea il tuo prompt di testo
• Nel nodo CLIP Text Encode (Prompt) per Cosmos-Predict2:
  • Scrivi prompt dettagliati e descrittivi per i migliori risultati di Cosmos-Predict2
  • Cosmos-Predict2 eccelle con descrizioni del mondo fisico
  • Includi dettagli ambientali e relazioni spaziali nei tuoi prompt di Cosmos-Predict2
  
• Genera e salva
  • Premi Run per creare la tua immagine Cosmos-Predict2, che si salva automaticamente nella directory di output.

Workflow di Cosmos-Predict2 da Video a Mondo

• Carica la tua immagine di input
  • Usa il nodo Load Image per importare il tuo fotogramma iniziale per la generazione video di Cosmos-Predict2.
• Configura i parametri del video
  • Nel nodo CosmosPredict2ImageToVideoLatent:
    • Larghezza/Altezza: Imposta a 848x480 per prestazioni ottimali di Cosmos-Predict2
    • Lunghezza: 33 fotogrammi per video di ~2 secondi di Cosmos-Predict2 a 16fps
    • Batch_size: Mantieni a 1 per l'elaborazione di Cosmos-Predict2
  
• Controllo opzionale del fotogramma
  • abilita i nodi bypassati (Ctrl+B) per il controllo del primo e dell'ultimo fotogramma in Cosmos-Predict2:
    • Carica immagini aggiuntive per guidare i punti di inizio e fine del video di Cosmos-Predict2
    • Perfetto per creare sequenze narrative specifiche con Cosmos-Predict2
• Esegui la generazione video
  • Esegui il workflow di Cosmos-Predict2 per creare sequenze video consapevoli della fisica che mantengono la coerenza temporale.

Impostazioni Essenziali per Cosmos-Predict2

• Configurazione di KSampler per Cosmos-Predict2:
  • Passi: 35 (predefinito per equilibrio di qualità di Cosmos-Predict2)
  • CFG: 4.0 per una corretta forza di guida di Cosmos-Predict2
  • Campionatore: euler (raccomandato per Cosmos-Predict2)
  • Scheduler: karras per una generazione fluida di Cosmos-Predict2
• Impostazioni di Generazione Video di Cosmos-Predict2:
  • FPS: 16 fotogrammi al secondo (ottimale per Cosmos-Predict2)
  • Formato: Rileva automaticamente il miglior codec per il tuo sistema Cosmos-Predict2
  • Conteggi di fotogrammi inferiori = generazione più veloce di Cosmos-Predict2, superiore = movimento più fluido

Riconoscimenti

Questo workflow ComfyUI di Cosmos-Predict2 integra il modello di base Cosmos-Predict2 di NVIDIA, un'innovazione nella generazione di intelligenza artificiale del mondo fisico. Riconoscimento speciale al team di ricerca NVIDIA per lo sviluppo di questo avanzato modello di simulazione fisica Cosmos-Predict2 e alla comunità ComfyUI per aver consentito un'integrazione fluida di Cosmos-Predict2. I pesi del modello Cosmos-Predict2 e l'implementazione tecnica seguono le specifiche ufficiali Cosmos-Predict2 di NVIDIA, garantendo prestazioni autentiche per applicazioni professionali.

Altre Risorse su Cosmos-Predict2

Esplora risorse tecniche e documentazione relative a Cosmos-Predict2:

• Repository GitHub – Implementazione ufficiale di Cosmos-Predict2 e file del modello.
• HuggingFace Hub – Pesi del modello pre-addestrato Cosmos-Predict2 e documentazione per l'integrazione ComfyUI.