ComfyUI Nvidia Cosmos Text & Image to Video Workflow

Qu'est-ce que le Workflow Nvidia Cosmos

Transformez votre imagination en vidéos fluides en utilisant les modèles Nvidia Cosmos récemment publiés dans ComfyUI. Ce workflow démontre les puissantes capacités d'IA de Nvidia Cosmos avec ses fonctionnalités de génération de texte en vidéo et d'image en vidéo. Propulsé par les modèles de pointe 7B et 14B de Nvidia Cosmos, vous pouvez créer des vidéos de haute qualité à partir de descriptions textuelles ou d'images fixes. Le moteur Nvidia Cosmos donne des résultats stellaires grâce à ses capacités de traitement vidéo ultra-efficaces.

Principales caractéristiques de Nvidia Cosmos

• Modes de génération doubles : Nvidia Cosmos offre à la fois la génération de texte en vidéo et d'image en vidéo
• Mouvement garanti : Génère toujours des vidéos avec du mouvement lors de l'utilisation de 121 images
• Prompts négatifs efficaces : Le modèle non-distillé assure un meilleur contrôle grâce aux prompts négatifs
• Contrôle d'image flexible : Générer à partir de la dernière image ou créer des transitions entre les images
• VAE ultra-efficace : Nvidia Cosmos utilise un système VAE raffiné pour une génération vidéo fluide et de haute qualité
• Support haute résolution : Créez des vidéos à des résolutions de 704x704 et plus
• Contrôle précis des images : Optimisé pour des séquences de 121 images
• Interpolation d'images intelligente : Génère des transitions fluides entre les images de référence

Comment utiliser le Workflow Nvidia Cosmos

Le workflow Nvidia Cosmos contient deux parties principales : la génération de texte en vidéo et d'image en vidéo. Par défaut, le groupe image en vidéo est contourné. Pour basculer entre les deux modes :

• Pour texte en vidéo : Gardez le groupe image en vidéo contourné (paramètre par défaut)
• Pour image en vidéo : Faites un clic droit sur le groupe image en vidéo et sélectionnez Set Group Nodes to Always

1. Génération de Texte en Vidéo avec Nvidia Cosmos

Configuration et exigences

• Choisissez la taille de modèle Nvidia Cosmos préférée (7B recommandé pour commencer)

• Définissez la résolution (Par défaut 1280x704; minimum 704x704)
• Paramètres des images :
  • Longueur : 121 images (Le modèle fonctionne de manière optimale avec une longueur de 121; s'écarter trop de cela peut entraîner une qualité vidéo médiocre.)
  • Taux d'images : 24.00 (taux par défaut pour une qualité optimale)
  

Paramètres d'échantillonnage pour Nvidia Cosmos

• Échantillonneur : res_multistep (échantillonneur recommandé par Nvidia pour Cosmos)
• Planificateur : karras (par défaut pour la stabilité)
• Étapes : 20 (plus = meilleure qualité mais plus lent; moins = plus rapide mais moins détaillé)
• CFG : 6.5 (force de guidage des prompts)
• Dénoyautage : 1.00 (1.00 = transformation complète; des valeurs plus basses conservent plus de contenu original)

Conseils de prompting pour Nvidia Cosmos

• Utilisez des prompts détaillés et multi-phrases pour de meilleurs résultats
• Incluez des prompts négatifs complets
• Les prompts courts peuvent générer des vidéos cohérentes mais peuvent ne pas suivre strictement les instructions

2. Génération d'Image en Vidéo avec Nvidia Cosmos

Configuration et exigences

• Les mêmes exigences de base que le texte en vidéo de Nvidia Cosmos
• Prend en charge les entrées start_image et end_image

Options d'image de référence

• Définissez une start_image ou une end_image, ou les deux en même temps
• Les images fonctionnent mieux lorsqu'elles sont similaires en style et contenu (pour des transitions fluides)

Paramètres clés

• Paramètres d'échantillonnage identiques au mode texte en vidéo
• Maintient les mêmes normes de qualité vidéo

Conseils avancés pour Nvidia Cosmos

• Pour des résultats de meilleure qualité avec plus de VRAM, essayez le modèle Nvidia Cosmos 14B
• Assurez-vous que les prompts sont descriptifs et détaillés pour de meilleurs résultats
• Expérimentez avec différentes paires d'images pour des transitions uniques

Plus d'informations sur Nvidia Cosmos

Pour plus de détails et de mises à jour sur Nvidia Cosmos, visitez .