Cosmos-Predict2 | Text2Image & Video2World

Qu'est-ce que le Workflow ComfyUI Cosmos-Predict2 ?

Le workflow ComfyUI Cosmos-Predict2 met à portée de main le modèle de base de monde physique de nouvelle génération de NVIDIA, permettant à la fois la génération d'images à partir de texte de haute qualité et une transformation vidéo-2-monde innovante. Pensez-y comme à une boule de cristal numérique qui peut non seulement créer des images époustouflantes à partir de descriptions textuelles, mais aussi prédire et générer des séquences vidéo réalistes qui suivent les lois de la physique.

Ce workflow Cosmos-Predict2 exploite un modèle de base sophistiqué à 2 milliards de paramètres spécifiquement conçu pour les scénarios d'IA physique. Qu'est-ce qui rend Cosmos-Predict2 spécial ? Il ne génère pas seulement de belles images - il comprend la physique, les interactions environnementales et les dynamiques réalistes, rendant Cosmos-Predict2 parfait pour la simulation industrielle, les scénarios de conduite autonome, la planification urbaine et les applications de recherche scientifique.

Fonctionnalités Clés et Avantages de Cosmos-Predict2

Modes de Génération Doubles: Cosmos-Predict2 prend en charge à la fois la génération d'images à partir de texte pour créer des visuels statiques et la transformation vidéo-2-monde pour la prédiction de scènes dynamiques, le tout dans un seul workflow ComfyUI Cosmos-Predict2.

Précision Physique: Contrairement aux générateurs d'images standards, Cosmos-Predict2 maintient une précision physique exceptionnelle et une interactivité environnementale, garantissant que le contenu généré par Cosmos-Predict2 suit la physique et les dynamiques du monde réel.

Applications Professionnelles: Cosmos-Predict2 est conçu pour des cas d'utilisation sérieux, y compris la simulation industrielle, le développement de conduite autonome, la visualisation de planification urbaine et la recherche scientifique où la précision est primordiale.

Contrôle Vidéo Flexible: Le composant de génération vidéo Cosmos-Predict2 inclut un contrôle optionnel du premier et du dernier cadre, permettant une direction précise des séquences temporelles et des transitions de scènes dans le workflow Cosmos-Predict2.

Comment Utiliser Cosmos-Predict2 dans ComfyUI

Workflow Cosmos-Predict2 Text-to-Image

Définir les dimensions de votre image

• Utilisez le nœud EmptySD3LatentImage pour définir la taille de sortie pour votre génération Cosmos-Predict2:
  • Par défaut: 1024x1024 pixels
  • Ajustez la largeur et la hauteur en fonction de vos besoins Cosmos-Predict2
  • Gardez batch_size à 1 pour la génération d'image unique Rédiger votre commande textuelle
• Dans le nœud CLIP Text Encode (Prompt) pour Cosmos-Predict2:
  • Rédigez des commandes détaillées et descriptives pour les meilleurs résultats Cosmos-Predict2
  • Cosmos-Predict2 excelle avec des descriptions du monde physique
  • Incluez des détails environnementaux et des relations spatiales dans vos commandes Cosmos-Predict2
  
• Générer et enregistrer
  • Appuyez sur Run pour créer votre image Cosmos-Predict2, qui est automatiquement enregistrée dans le répertoire de sortie.

Workflow Cosmos-Predict2 Video-to-World

• Téléchargez votre image d'entrée
  • Utilisez le nœud Load Image pour importer votre cadre de départ pour la génération vidéo Cosmos-Predict2.
• Configurer les paramètres vidéo
  • Dans le nœud CosmosPredict2ImageToVideoLatent:
    • Largeur/Hauteur: Réglez à 848x480 pour des performances optimales Cosmos-Predict2
    • Longueur: 33 cadres pour des vidéos Cosmos-Predict2 d'environ 2 secondes à 16fps
    • Batch_size: Gardez à 1 pour le traitement Cosmos-Predict2
  
• Contrôle de cadre optionnel
  • activez les nœuds contournés (Ctrl+B) pour le contrôle du premier et du dernier cadre dans Cosmos-Predict2:
    • Téléchargez des images supplémentaires pour guider les points de départ et d'arrivée vidéo Cosmos-Predict2
    • Parfait pour créer des séquences narratives spécifiques avec Cosmos-Predict2
• Exécuter la génération vidéo
  • Exécutez le workflow Cosmos-Predict2 pour créer des séquences vidéo conscientes de la physique qui maintiennent la cohérence temporelle.

Paramètres Essentiels pour Cosmos-Predict2

• Configuration KSampler pour Cosmos-Predict2:
  • Étapes: 35 (par défaut pour l'équilibre qualité Cosmos-Predict2)
  • CFG: 4.0 pour une force d'orientation Cosmos-Predict2 appropriée
  • Échantillonneur: euler (recommandé pour Cosmos-Predict2)
  • Planificateur: karras pour une génération Cosmos-Predict2 fluide
• Paramètres de Génération Vidéo Cosmos-Predict2:
  • FPS: 16 images par seconde (optimal pour Cosmos-Predict2)
  • Format: Détection automatique du meilleur codec pour votre système Cosmos-Predict2
  • Moins de cadres = génération Cosmos-Predict2 plus rapide, plus = mouvement plus fluide

Remerciements

Ce workflow ComfyUI Cosmos-Predict2 intègre le modèle de base Cosmos-Predict2 de NVIDIA, une avancée dans la génération d'IA du monde physique. Reconnaissance spéciale à l'équipe de recherche NVIDIA pour le développement de ce modèle avancé de simulation physique Cosmos-Predict2 et à la communauté ComfyUI pour avoir permis une intégration transparente de Cosmos-Predict2. Les poids du modèle Cosmos-Predict2 et l'implémentation technique suivent les spécifications officielles Cosmos-Predict2 de NVIDIA, garantissant une performance authentique pour les applications professionnelles.

Plus de Ressources sur Cosmos-Predict2

Explorez les ressources techniques et la documentation relatives à Cosmos-Predict2:

• Dépôt GitHub – Implémentation officielle Cosmos-Predict2 et fichiers modèle.
• HuggingFace Hub – Poids du modèle pré-entraîné Cosmos-Predict2 et documentation pour l'intégration ComfyUI.