Cosmos-Predict2 | Text2Image & Video2World

¿Qué es el flujo de trabajo Cosmos-Predict2 ComfyUI?

El flujo de trabajo Cosmos-Predict2 ComfyUI trae el modelo de base de mundo físico de próxima generación de NVIDIA a tus manos, permitiendo tanto la generación de texto a imagen de alta calidad como la innovadora transformación de video a mundo. Piénsalo como tener una bola de cristal digital que no solo puede crear imágenes impresionantes a partir de descripciones de texto, sino también predecir y generar secuencias de video realistas que siguen las leyes de la física.

Este flujo de trabajo Cosmos-Predict2 aprovecha un sofisticado modelo de base de 2 mil millones de parámetros diseñado específicamente para escenarios de IA física. ¿Qué hace especial a Cosmos-Predict2? No solo genera imágenes bonitas, entiende la física, las interacciones ambientales y las dinámicas realistas, lo que hace a Cosmos-Predict2 perfecto para simulación industrial, escenarios de conducción autónoma, planificación urbana y aplicaciones de investigación científica.

Características clave y beneficios de Cosmos-Predict2

Modos de generación duales: Cosmos-Predict2 admite tanto la generación de texto a imagen para crear visuales estáticos como la transformación de video a mundo para la predicción de escenas dinámicas, todo dentro de un solo flujo de trabajo Cosmos-Predict2 ComfyUI.

Precisión física: A diferencia de los generadores de imágenes estándar, Cosmos-Predict2 mantiene una precisión física excepcional e interactividad ambiental, asegurando que el contenido generado por Cosmos-Predict2 siga la física y dinámica del mundo real.

Aplicaciones profesionales: Cosmos-Predict2 está diseñado para casos de uso serios, incluyendo simulación industrial, desarrollo de conducción autónoma, visualización de planificación urbana e investigación científica donde la precisión es lo más importante.

Control de video flexible: El componente de generación de video Cosmos-Predict2 incluye control opcional del primer y último fotograma, permitiendo una dirección precisa sobre secuencias temporales y transiciones de escena dentro del flujo de trabajo Cosmos-Predict2.

Cómo usar Cosmos-Predict2 en ComfyUI

Flujo de trabajo de texto a imagen Cosmos-Predict2

Establece las dimensiones de tu imagen

• Usa el nodo EmptySD3LatentImage para definir el tamaño de salida de tu generación Cosmos-Predict2:
  • Por defecto: 1024x1024 píxeles
  • Ajusta el ancho y la altura según tus requisitos de Cosmos-Predict2
  • Mantén batch_size en 1 para generación de imagen única Elabora tu indicación de texto
• En el nodo CLIP Text Encode (Prompt) para Cosmos-Predict2:
  • Escribe indicaciones detalladas y descriptivas para obtener los mejores resultados de Cosmos-Predict2
  • Cosmos-Predict2 sobresale con descripciones del mundo físico
  • Incluye detalles ambientales y relaciones espaciales en tus indicaciones de Cosmos-Predict2
  
• Genera y guarda
  • Presiona Run para crear tu imagen Cosmos-Predict2, que se guarda automáticamente en el directorio de salida.

Flujo de trabajo de video a mundo Cosmos-Predict2

• Sube tu imagen de entrada
  • Usa el nodo Load Image para importar tu fotograma inicial para la generación de video Cosmos-Predict2.
• Configura los parámetros de video
  • En el nodo CosmosPredict2ImageToVideoLatent:
    • Ancho/Altura: Establece en 848x480 para un rendimiento óptimo de Cosmos-Predict2
    • Longitud: 33 fotogramas para videos de Cosmos-Predict2 de ~2 segundos a 16fps
    • Batch_size: Mantén en 1 para el procesamiento de Cosmos-Predict2
  
• Control de fotograma opcional
  • activa los nodos omitidos (Ctrl+B) para el control del primer y último fotograma en Cosmos-Predict2:
    • Sube imágenes adicionales para guiar los puntos de inicio y fin de video de Cosmos-Predict2
    • Perfecto para crear secuencias narrativas específicas con Cosmos-Predict2
• Ejecuta la generación de video
  • Ejecuta el flujo de trabajo de Cosmos-Predict2 para crear secuencias de video conscientes de la física que mantienen la consistencia temporal.

Configuraciones esenciales para Cosmos-Predict2

• Configuración de KSampler para Cosmos-Predict2:
  • Pasos: 35 (predeterminado para el equilibrio de calidad de Cosmos-Predict2)
  • CFG: 4.0 para una fuerza de guía adecuada de Cosmos-Predict2
  • Sampler: euler (recomendado para Cosmos-Predict2)
  • Scheduler: karras para una generación suave de Cosmos-Predict2
• Configuraciones de generación de video de Cosmos-Predict2:
  • FPS: 16 fotogramas por segundo (óptimo para Cosmos-Predict2)
  • Formato: Detecta automáticamente el mejor códec para tu sistema Cosmos-Predict2
  • Menor cantidad de fotogramas = generación más rápida de Cosmos-Predict2, mayor = movimiento más suave

Reconocimiento

Este flujo de trabajo Cosmos-Predict2 ComfyUI integra el modelo de base Cosmos-Predict2 de NVIDIA, un avance en generación de IA de mundo físico. Reconocimiento especial al equipo de investigación de NVIDIA por desarrollar este modelo avanzado de simulación física Cosmos-Predict2 y a la comunidad de ComfyUI por permitir una integración perfecta de Cosmos-Predict2. Los pesos del modelo Cosmos-Predict2 y la implementación técnica siguen las especificaciones oficiales de Cosmos-Predict2 de NVIDIA, asegurando un rendimiento auténtico para aplicaciones profesionales.

Más recursos sobre Cosmos-Predict2

Explora recursos técnicos y documentación relacionados con Cosmos-Predict2:

• Repositorio GitHub – Implementación oficial de Cosmos-Predict2 y archivos de modelo.
• HuggingFace Hub – Pesos de modelo preentrenados de Cosmos-Predict2 y documentación para la integración de ComfyUI.