ComfyUI Nvidia Cosmos Text- & Bild-zu-Video-Workflow

Was ist der Nvidia Cosmos Workflow

Verwandeln Sie Ihre Vorstellungskraft in flüssige Videos mit den neu veröffentlichten Nvidia Cosmos-Modellen in ComfyUI. Dieser Workflow demonstriert die starken KI-Fähigkeiten von Nvidia Cosmos mit seinen Text-zu-Video- und Bild-zu-Video-Erstellungsfunktionen. Angetrieben von Nvidias Cosmos-Modellen der neuesten Generation 7B und 14B können Sie hochwertige Videos aus textlichen Beschreibungen oder Standbildern erstellen. Die Nvidia Cosmos-Engine liefert herausragende Ergebnisse dank ihrer ultra-effizienten Videobearbeitungsfähigkeiten.

Hauptmerkmale von Nvidia Cosmos

• Duale Erzeugungsmodi: Nvidia Cosmos bietet sowohl Text-zu-Video- als auch Bild-zu-Video-Erstellung
• Garantierte Bewegung: Generiert immer Videos mit Bewegung bei Verwendung von 121 Frames
• Effektive Negative Prompts: Nicht destilliertes Modell gewährleistet bessere Kontrolle durch negative Prompts
• Flexible Bildkontrolle: Erzeugen Sie vom letzten Frame oder erstellen Sie Übergänge zwischen Bildern
• Ultra-Effizientes VAE: Nvidia Cosmos verwendet ein verfeinertes VAE-System für glatte, hochwertige Videoerstellung
• Unterstützung für hohe Auflösung: Erstellen Sie Videos in Auflösungen von 704x704 und höher
• Präzise Frame-Kontrolle: Optimiert für 121-Frame-Sequenzen
• Intelligente Bildinterpolation: Erzeugen Sie sanfte Übergänge zwischen Referenzbildern

Verwendung des Nvidia Cosmos Workflows

Der Nvidia Cosmos Workflow enthält zwei Hauptteile: _Text-zu-Video_ und _Bild-zu-Video_ Erstellung. Standardmäßig ist die Gruppe _Bild-zu-Video_ umgangen. Um zwischen den beiden Modi zu wechseln:

• Für _Text-zu-Video_: Halten Sie die Gruppe _Bild-zu-Video_ umgangen (Standardeinstellung)
• Für _Bild-zu-Video_: Klicken Sie mit der rechten Maustaste auf die Gruppe _Bild-zu-Video_ und wählen Sie Set Group Nodes to Always

1. Text zu Video Erstellung mit Nvidia Cosmos

Einrichtung und Anforderungen

• Wählen Sie die bevorzugte Modellgröße von Nvidia Cosmos (7B wird zum Start empfohlen)
  
• Legen Sie die Auflösung fest (Standard 1280x704; mindestens 704x704)
• Frame-Einstellungen:
  • Länge: 121 Frames (Das Modell arbeitet optimal mit einer Länge von 121; zu große Abweichungen können zu minderwertiger Videoqualität führen.)
  • Bildrate: 24.00 (Standardrate für optimale Qualität) <img src="https://cdn.runcomfy.net/workflow_assets/1184/readme02.webp" alt="Nvidia Cosmos" width="350"/> <img src="https://cdn.runcomfy.net/workflow_assets/1184/readme03.webp" alt="Nvidia Cosmos" width="350"/>

Sampling-Parameter für Nvidia Cosmos

• Sampler: res_multistep (Nvidias empfohlener Sampler für Cosmos)
• Scheduler: karras (Standard für Stabilität)
• Schritte: 20 (höher = bessere Qualität, aber langsamer; niedriger = schneller, aber weniger detailliert)
• CFG: 6.5 (Stärke der Prompt-Anleitung)
• Denoise: 1.00 (1.00 = komplette Transformation; niedrigere Werte bewahren mehr Originalinhalt)
  

Prompting-Tipps für Nvidia Cosmos

• Verwenden Sie detaillierte, mehrsätzige Prompts für bessere Ergebnisse
• Fügen Sie umfassende negative Prompts hinzu
• Kurze Prompts können kohärente Videos erzeugen, folgen aber möglicherweise nicht strikt den Anweisungen

2. Bild zu Video Erstellung mit Nvidia Cosmos

Einrichtung und Anforderungen

• Gleiche Grundanforderungen wie Nvidia Cosmos Text-zu-Video
• Unterstützt start_image und end_image Eingaben

Referenzbild-Optionen

• Legen Sie ein start_image oder end_image fest, oder beide gleichzeitig
• Bilder funktionieren am besten, wenn sie im Stil und Inhalt ähnlich sind (für sanfte Übergänge)
  

Schlüsselparameter

• Identische Sampling-Einstellungen wie im Text-zu-Video-Modus
• Beibehaltung derselben Videoqualitätsstandards

Erweiterte Tipps für Nvidia Cosmos

• Für höherwertige Ergebnisse mit mehr VRAM probieren Sie das Nvidia Cosmos 14B Modell
• Stellen Sie sicher, dass Prompts beschreibend und detailliert sind für beste Ergebnisse
• Experimentieren Sie mit verschiedenen Bildpaaren für einzigartige Übergänge

Weitere Informationen über Nvidia Cosmos

Für mehr Details und Updates über Nvidia Cosmos besuchen Sie die Nvidia Cosmos Official Page.