Cosmos-Predict2 | Text2Image & Video2World

O que é o Fluxo de Trabalho Cosmos-Predict2 ComfyUI?

O fluxo de trabalho Cosmos-Predict2 ComfyUI traz o modelo de base do mundo físico de próxima geração da NVIDIA às suas mãos, permitindo tanto a geração de imagem a partir de texto de alta qualidade quanto a transformação inovadora de vídeo para mundo. Pense nele como uma bola de cristal digital que não só cria imagens impressionantes a partir de descrições de texto, mas também prevê e gera sequências de vídeo realistas que seguem as leis da física.

Este fluxo de trabalho Cosmos-Predict2 utiliza um modelo de base sofisticado com 2 bilhões de parâmetros, especificamente projetado para cenários de IA física. O que torna o Cosmos-Predict2 especial? Ele não apenas gera imagens bonitas - ele entende física, interações ambientais e dinâmicas realistas, tornando o Cosmos-Predict2 perfeito para simulação industrial, cenários de condução autônoma, planejamento urbano e aplicações de pesquisa científica.

Principais Recursos e Benefícios do Cosmos-Predict2

Modos de Geração Dupla: O Cosmos-Predict2 suporta tanto a geração de imagem a partir de texto para criar visuais estáticos quanto a transformação de vídeo para mundo para previsão de cenas dinâmicas, tudo dentro de um único fluxo de trabalho ComfyUI do Cosmos-Predict2.

Precisão Física: Ao contrário dos geradores de imagem padrão, o Cosmos-Predict2 mantém precisão física excepcional e interatividade ambiental, garantindo que o conteúdo gerado pelo Cosmos-Predict2 siga a física e dinâmicas do mundo real.

Aplicações Profissionais: O Cosmos-Predict2 é projetado para casos de uso sério, incluindo simulação industrial, desenvolvimento de condução autônoma, visualização de planejamento urbano e pesquisa científica, onde a precisão é mais importante.

Controle de Vídeo Flexível: O componente de geração de vídeo Cosmos-Predict2 inclui controle opcional do primeiro e último quadro, permitindo direção precisa sobre sequências temporais e transições de cena dentro do fluxo de trabalho Cosmos-Predict2.

Como Usar o Cosmos-Predict2 no ComfyUI

Fluxo de Trabalho de Texto para Imagem do Cosmos-Predict2

Defina suas dimensões de imagem

• Use o nó EmptySD3LatentImage para definir o tamanho de saída para sua geração Cosmos-Predict2:
  • Padrão: 1024x1024 pixels
  • Ajuste a largura e altura com base em seus requisitos Cosmos-Predict2
  • Mantenha batch_size em 1 para geração de imagem única Crie seu prompt de texto
• No nó CLIP Text Encode (Prompt) para Cosmos-Predict2:
  • Escreva prompts detalhados e descritivos para melhores resultados Cosmos-Predict2
  • Cosmos-Predict2 se destaca com descrições do mundo físico
  • Inclua detalhes ambientais e relações espaciais em seus prompts Cosmos-Predict2
  
• Gere e salve
  • Pressione Run para criar sua imagem Cosmos-Predict2, que é salva automaticamente no diretório de saída.

Fluxo de Trabalho de Vídeo para Mundo do Cosmos-Predict2

• Carregue sua imagem de entrada
  • Use o nó Load Image para importar seu quadro inicial para a geração de vídeo Cosmos-Predict2.
• Configure parâmetros de vídeo
  • No nó CosmosPredict2ImageToVideoLatent:
    • Largura/Altura: Defina para 848x480 para desempenho ideal Cosmos-Predict2
    • Comprimento: 33 quadros para vídeos Cosmos-Predict2 de ~2 segundos a 16fps
    • Batch_size: Mantenha em 1 para processamento Cosmos-Predict2
  
• Controle de quadro opcional
  • Ative os nós ignorados (Ctrl+B) para controle do primeiro e último quadro no Cosmos-Predict2:
    • Carregue imagens adicionais para guiar os pontos de início e fim do vídeo Cosmos-Predict2
    • Perfeito para criar sequências narrativas específicas com Cosmos-Predict2
• Execute a geração de vídeo
  • Execute o fluxo de trabalho Cosmos-Predict2 para criar sequências de vídeo conscientes da física que mantêm consistência temporal.

Configurações Essenciais para Cosmos-Predict2

• Configuração KSampler para Cosmos-Predict2:
  • Passos: 35 (padrão para equilíbrio de qualidade Cosmos-Predict2)
  • CFG: 4.0 para força de orientação adequada Cosmos-Predict2
  • Sampler: euler (recomendado para Cosmos-Predict2)
  • Scheduler: karras para geração suave Cosmos-Predict2
• Configurações de Geração de Vídeo Cosmos-Predict2:
  • FPS: 16 quadros por segundo (ideal para Cosmos-Predict2)
  • Formato: Detecta automaticamente o melhor codec para seu sistema Cosmos-Predict2
  • Menor contagem de quadros = geração Cosmos-Predict2 mais rápida, maior = movimento mais suave

Reconhecimento

Este fluxo de trabalho Cosmos-Predict2 ComfyUI integra o modelo de base Cosmos-Predict2 da NVIDIA, um avanço na geração de IA do mundo físico. Reconhecimento especial à equipe de pesquisa da NVIDIA por desenvolver este modelo avançado de simulação física Cosmos-Predict2 e à comunidade ComfyUI por permitir integração perfeita Cosmos-Predict2. Os pesos do modelo Cosmos-Predict2 e a implementação técnica seguem as especificações oficiais Cosmos-Predict2 da NVIDIA, garantindo desempenho autêntico para aplicações profissionais.

Mais Recursos Sobre Cosmos-Predict2

Explore recursos técnicos e documentação relacionados ao Cosmos-Predict2:

• Repositório GitHub – Implementação oficial Cosmos-Predict2 e arquivos de modelo.
• HuggingFace Hub – Pesos de modelo pré-treinados Cosmos-Predict2 e documentação para integração ComfyUI.