wan-2-1/image-to-video

Wan 2.1 é o modelo de vídeo com inteligência artificial de código aberto da Alibaba, desenvolvido para gerar conteúdo de vídeo em alta qualidade. Ele utiliza técnicas avançadas de difusão para criar movimentos realistas e oferece suporte à geração de texto bilíngue (inglês e chinês). A família de modelos Wan 2.1 inclui várias versões:

1. T2V-14B: modelo texto-para-vídeo com 14 bilhões de parâmetros, ideal para vídeos em 480p/720p, mas exige mais memória de vídeo (VRAM).
2. T2V-1.3B: versão mais leve com 1,3 bilhões de parâmetros, otimizada para placas de vídeo de uso doméstico (~8GB VRAM), ideal para produção eficiente em 480p.
3. I2V-14B-720P: modelo imagem-para-vídeo que transforma imagens estáticas em vídeos 720p com movimento fluido e aparência profissional.
4. I2V-14B-480P: versão similar à de 720p, mas adaptada para gerar vídeos em 480p com menor exigência de hardware, mantendo a qualidade.

Você pode usar o Wan 2.1 de três formas diferentes:

1. Online pelo RunComfy AI Playground: Acesse o RunComfy AI Playground, selecione o ambiente Wan 2.1, insira seu prompt de texto ou envie uma imagem. Ajuste configurações como resolução e duração, e inicie a geração do vídeo. O sistema permite visualizar e baixar o resultado final de forma rápida e simples.

2. Online via RunComfy ComfyUI: No RunComfy Workflow para Wan 2.1, você encontra um fluxo de trabalho completo e pronto para uso. Basta escolher se quer gerar o vídeo a partir de texto ou imagem, ajustar os parâmetros e iniciar a criação.

3. Localmente em sua máquina:

• Clone o repositório Wan 2.1 no GitHub
• Instale as dependências e baixe os pesos do modelo desejado (como T2V-14B ou I2V-14B-480P)
• Use os scripts fornecidos (ex: generate.py) para produzir vídeos com o Wan 2.1 localmente.

Para executar o Wan 2.1, você tem diferentes opções baseadas na interface que preferir utilizar:

1. Via RunComfy AI Playground: Entre em RunComfy AI Playground e faça login. Escolha o modelo Wan 2.1. Para Texto-para-Vídeo (T2V), digite seu prompt descritivo. Para Imagem-para-Vídeo (I2V), envie uma imagem e, se quiser, um prompt orientativo. Defina a resolução (480p ou 720p) e a duração, e inicie o processo. Após a geração, é possível visualizar e baixar o vídeo.

2. Via RunComfy ComfyUI: Acesse um dos fluxos disponíveis: o Workflow padrão ou o da LoRA personalizada. Após o login, insira um prompt ou imagem, e ajuste as preferências. Você pode até aplicar modelos LoRA para alterar o estilo. O Wan 2.1 funciona perfeitamente nesse ambiente após apenas alguns cliques.

LoRA permite personalizar o estilo visual e o movimento dos vídeos criados com o Wan 2.1, ajustando parâmetros extras sem precisar treinar o modelo completo.

1. RunComfy AI Playground: Suporte ao Wan 2.1 com LoRA estará disponível em breve nesta plataforma.

2. RunComfy ComfyUI: Você já pode usar o Wan 2.1 LoRA em ComfyUI. Todo o ambiente já vem configurado, incluindo modelos prontos de Wan 2.1 LoRA. Também é possível enviar seus próprios modelos LoRA para uso.

O treinamento de um LoRA para o modelo Wan 2.1 segue etapas semelhantes às de outros modelos de difusão:

1. Preparar o conjunto de dados: Reúna imagens de alta qualidade (ou vídeos curtos se desejar focar em movimento) e descreva cada imagem com arquivos de texto. Use sempre uma palavra-chave consistente nas descrições.

2. Ambiente e configurações: Utilize ferramentas como "diffusion-pipe" onde é necessário configurar um arquivo TOML (por exemplo, “wan_video.toml”), definindo taxa de aprendizado (ex: 3e-05), número de épocas, rank da rede (ex: 32), entre outros parâmetros.

3. Executar o treinamento: Com os dados e configurações prontos, rode o script de treinamento, preferencialmente com “deepspeed” para suporte a múltiplas GPUs. O foco é ajustar apenas os parâmetros adicionais do LoRA sobre o modelo Wan 2.1 já existente.

4. Pós-treinamento: Ao finalizar, será gerado um arquivo .safetensors do LoRA que poderá ser carregado diretamente nos fluxos de geração de vídeo com o Wan 2.1.

Modelos LoRA criados pela comunidade para o Wan 2.1 estão disponíveis na Hugging Face. Um exemplo é esta coleção de modelos para I2V 480p: Wan2.1 14B 480p I2V LoRAs. Esses modelos podem ser usados imediatamente no ambiente ComfyUI com Wan 2.1.

Os modelos Wan 2.1 com 14 bilhões de parâmetros (T2V e I2V) exigem bastante VRAM e funcionam melhor com placas como a NVIDIA RTX 4090. Numa configuração padrão, é possível gerar vídeos de 5 segundos em 720p. Com técnicas como offloading e quantização, dá para gerar até 8 segundos em 480p com cerca de 12 GB de VRAM.

Já o modelo Wan 2.1 T2V-1.3B é mais leve, usando aproximadamente 8,19 GB de VRAM. Ideal para usuários com placas de vídeo de consumo, ele produz vídeos de 5 segundos em 480p, sendo mais acessível, embora com pequena perda de qualidade e velocidade em relação aos modelos maiores.

A placa NVIDIA RTX 3090 (24 GB de VRAM) é perfeitamente adequada para executar o Wan 2.1 T2V-1.3B, que consome cerca de 8,19 GB de VRAM em modo de inferência.

Embora a RTX 3090 tenha VRAM suficiente, rodar o modelo Wan 2.1 T2V-14B pode ser desafiador. Alguns usuários conseguiram usá-lo em GPUs com apenas 10 GB de VRAM, mas isso exige otimizações e pode comprometer o desempenho. A recomendação é usar o 1.3B para uma experiência fluida e eficiente.

Os requisitos de hardware para o Wan 2.1 variam conforme a versão usada. O modelo T2V-1.3B é otimizado para rodar em placas comuns com cerca de 8 GB de VRAM e gera vídeos 480p rapidamente. Já o T2V-14B, mais robusto, exige mais VRAM para criar vídeos em 720p com maior fidelidade.

Se quiser usar o Wan 2.1 sem ter uma GPU potente, você pode aproveitar o RunComfy AI Playground, que oferece créditos gratuitos e permite gerar vídeos com Wan 2.1 direto da nuvem.

Para rodar o Wan 2.1 de maneira econômica na nuvem, há duas boas opções via RunComfy:

1. RunComfy AI Playground: Permite usar o Wan 2.1 e outras ferramentas de IA diretamente no navegador. Usuários novos recebem créditos gratuitos para experimentar.

2. RunComfy ComfyUI: Oferece fluxos pré-configurados para Wan 2.1 e Wan 2.1 LoRA, com todos os modelos prontos. Basta acessar e gerar os vídeos.

Para reduzir custos, utilize o modelo 1.3B com técnicas de otimização como quantização ou offloading (ex: --offload_model True) e economize memória e tempo de execução.

O Wan 2.1 permite a conversão de imagens em vídeos usando o modo I2V. Basta fornecer uma imagem estática e um prompt descritivo para orientá-lo sobre a animação desejada. O modelo cria movimentos suaves aplicando sua inteligência temporal.

1. Localmente: Execute via linha de comando com a flag -task i2v-14B e especifique o caminho da imagem (ex: -image examples/i2v_input.JPG) além do prompt.

2. RunComfy ComfyUI: Use o fluxo Wan 2.1 para imagem-para-vídeo.

3. RunComfy Playground: Basta escolher o modo "imagem para vídeo" e seguir as etapas. Simples e eficaz com o Wan 2.1.

O tempo padrão e máximo de vídeo gerado pelo Wan 2.1 é de 81 quadros. Com uma taxa de 16 quadros por segundo (FPS), isso corresponde a cerca de 5 segundos de duração.

Vale notar que esse limite segue a regra estrutural do modelo: o número total de quadros precisa ser no formato 4n+1. Apesar de alguns usuários testarem sequências maiores (como 100 quadros), o ideal é manter os vídeos com 81 quadros para garantir qualidade e estabilidade.

O Wan 2.1 é ideal para projetos criativos diversos. Ele suporta geração de vídeos tanto a partir de texto (T2V) quanto de imagens (I2V), além de permitir edições visuais com LoRA. Seja para criar clipes para redes sociais, vídeos educativos ou campanhas promocionais, Wan 2.1 oferece resultados visuais dinâmicos e legíveis.

Sua personalização e fácil acesso tornam o Wan 2.1 uma excelente escolha para criadores de conteúdo e profissionais de marketing que buscam alta qualidade com praticidade.

Usar o Wan 2.1 no ComfyUI é simples e eficaz tanto para texto-para-vídeo quanto imagem-para-vídeo.

1. Consulte o fluxo ComfyUI padrão para Wan 2.1
2. Para personalização com LoRA, acesse: Wan 2.1 LoRA em ComfyUI

O ambiente já vem com todos os modelos Wan 2.1 configurados. Assim, você pode começar a criar vídeos de forma rápida, sem necessidade de instalação adicional.