ComfyUI > Fluxos de Trabalho > Nvidia Cosmos | Criação de Texto e Imagem para Vídeo

Nvidia Cosmos | Criação de Texto e Imagem para Vídeo

Experimente os modelos Cosmos recém-lançados da Nvidia (7B e 14B) para geração de vídeo de última geração no ComfyUI. Este fluxo de trabalho abrangente oferece tanto a geração de texto-para-vídeo quanto capacidades de interpolação de imagem. Para texto-para-vídeo, crie vídeos fluidos de 121 quadros usando descrições textuais detalhadas. Para imagem-para-vídeo, você pode definir uma start_image e uma end_image para gerar transições suaves entre elas. Graças ao seu VAE ultra-eficiente, ele pode processar vídeos de 1280x704 em GPUs de 12GB, tornando-o 50x mais eficiente em termos de memória do que alternativas. Perfeito para criar animações tanto realistas quanto estilizadas com movimento garantido em cada sequência.

Agradecimentos especiais à Nvidia por lançar a família de modelos Cosmos e à equipe do ComfyUI por sua excelente implementação nativa que torna este fluxo de trabalho possível.

ComfyUI Nvidia Cosmos Fluxo de Trabalho

Nvidia Cosmos Text or Image-to-Video Workflow in ComfyUI | Video Generation

Deseja executar este fluxo de trabalho?

Fluxos de trabalho totalmente operacionais
Sem nós ou modelos ausentes
Nenhuma configuração manual necessária
Apresenta visuais impressionantes

ComfyUI Nvidia Cosmos Exemplos

nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_1.webp

nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_2.webp

nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_3.webp

nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_4.webp

ComfyUI Nvidia Cosmos Descrição

ComfyUI Nvidia Cosmos Texto e Imagem para Vídeo

O que é o Fluxo de Trabalho do Nvidia Cosmos

Transforme sua imaginação em vídeos fluidos usando os modelos Nvidia Cosmos recém-lançados no ComfyUI. Este fluxo de trabalho demonstra as fortes capacidades de IA do Nvidia Cosmos com seus recursos de geração de texto-para-vídeo e imagem-para-vídeo. Alimentado pelos modelos de última geração 7B e 14B do Nvidia Cosmos, você pode criar vídeos de alta qualidade a partir de descrições textuais ou imagens estáticas. O motor Nvidia Cosmos oferece resultados estelares graças às suas capacidades de processamento de vídeo ultra-eficientes.

Principais Recursos do Nvidia Cosmos

Modos de Geração Dupla: Nvidia Cosmos oferece geração de texto-para-vídeo e imagem-para-vídeo
Movimento Garantido: Sempre gera vídeos com movimento ao usar 121 quadros
Prompts Negativos Eficazes: Modelo não destilado garante melhor controle através de prompts negativos
Controle Flexível de Imagem: Gere a partir do último quadro ou crie transições entre imagens
VAE Ultra-Eficiente: Nvidia Cosmos emprega um sistema VAE refinado para geração de vídeos suaves e de alta qualidade
Suporte a Alta Resolução: Crie vídeos em resoluções de 704x704 e acima
Controle Preciso de Quadros: Otimizado para sequências de 121 quadros
Interpolação de Imagem Inteligente: Gere transições suaves entre imagens de referência

Como Usar o Fluxo de Trabalho do Nvidia Cosmos

O fluxo de trabalho do Nvidia Cosmos contém duas partes principais: texto-para-vídeo e imagem-para-vídeo. Por padrão, o grupo imagem-para-vídeo é ignorado. Para alternar entre os dois modos:

Para texto-para-vídeo: Mantenha o grupo imagem-para-vídeo ignorado (configuração padrão)
Para imagem-para-vídeo: Clique com o botão direito no grupo imagem-para-vídeo e selecione Set Group Nodes to Always

1. Geração de Texto para Vídeo com Nvidia Cosmos

Configuração e Requisitos

Escolha o tamanho de modelo Nvidia Cosmos preferido (7B recomendado para começar)

Defina a resolução (Padrão 1280x704; mínimo 704x704)
Configurações de quadros:
- Comprimento: 121 quadros (O modelo funciona de forma ideal com um comprimento de 121; desviar muito disso pode resultar em qualidade de vídeo inferior.)
- Taxa de quadros: 24.00 (taxa padrão para qualidade ideal)

Parâmetros de Amostragem para Nvidia Cosmos

Amostrador: res_multistep (amostrador recomendado pela Nvidia para Cosmos)
Scheduler: karras (padrão para estabilidade)
Steps: 20 (mais alto = melhor qualidade, mas mais lento; mais baixo = mais rápido, mas menos detalhado)
CFG: 6.5 (força de orientação de prompt)
Denoise: 1.00 (1.00 = transformação completa; valores mais baixos mantêm mais conteúdo original)

Dicas de Prompt para Nvidia Cosmos

Use prompts detalhados e com várias frases para melhores resultados
Inclua prompts negativos abrangentes
Prompts curtos podem gerar vídeos coerentes, mas podem não seguir estritamente as instruções

2. Geração de Imagem para Vídeo com Nvidia Cosmos

Configuração e Requisitos

Mesmos requisitos básicos do texto-para-vídeo do Nvidia Cosmos
Suporta entradas start_image e end_image

Opções de Imagem de Referência

Defina uma start_image ou end_image, ou ambas ao mesmo tempo
As imagens funcionam melhor quando semelhantes em estilo e conteúdo (para transições suaves)

Parâmetros Chave

Configurações de amostragem idênticas ao modo texto-para-vídeo
Mantém os mesmos padrões de qualidade de vídeo

Dicas Avançadas para Nvidia Cosmos

Para resultados de maior qualidade com mais VRAM, experimente o modelo 14B do Nvidia Cosmos
Certifique-se de que os prompts sejam descritivos e detalhados para melhores resultados
Experimente diferentes pares de imagens para transições únicas