wan-2-1/image-to-video

Wan 2.1 es un modelo de inteligencia artificial de video open-source desarrollado por Alibaba. Usando técnicas avanzadas de difusión, Wan 2.1 genera contenido de video realista y de alta calidad. Además, admite generación de texto en inglés y chino. Incluye varias versiones: T2V-14B para videos detallados en 480p/720p; T2V-1.3B optimizado para tarjetas gráficas de consumo (~8GB VRAM); I2V-14B-720P para transformar imágenes en video 720p; e I2V-14B-480P que mantiene buena calidad en resoluciones más bajas.

1. Desde RunComfy AI Playground: Ingresa a la página de Wan 2.1 en RunComfy, escribe tu texto o sube una imagen, configura la resolución o la duración, y genera tu video. Es simple y eficiente gracias a la interfaz intuitiva de Wan 2.1. 2. Desde RunComfy ComfyUI: Visita la sección del flujo de trabajo de Wan 2.1 en ComfyUI, donde todo está preconfigurado. Solo necesitas añadir un texto o imagen y personalizar los ajustes para generar el video. 3. Localmente: Puedes clonar el repositorio de Wan 2.1 desde GitHub, instalar dependencias, descargar los pesos del modelo y generar videos desde la línea de comandos, usando scripts como generate.py.

1. En RunComfy AI Playground: Inicia sesión, selecciona el modelo Wan 2.1, escribe tu texto o sube una imagen, ajusta opciones como resolución (480p o 720p), y genera tu video para descargarlo una vez completado. 2. En RunComfy ComfyUI: Accede al flujo de trabajo de Wan 2.1 o al flujo LoRA. Inserta un texto, imagen o aplica modelos LoRA para personalizar el estilo y luego genera el video con Wan 2.1.

Puedes usar LoRA para personalizar los estilos o movimientos generados por el modelo Wan 2.1 sin necesidad de reentrenarlo completo. 1. En el Playground de RunComfy, LoRA estará disponible próximamente para Wan 2.1. 2. En RunComfy ComfyUI, ya puedes usar LoRA de Wan 2.1 directamente cargando tus propios modelos o utilizando los disponibles en el entorno preconfigurado.

Entrenar un LoRA en Wan 2.1 implica: 1. Preparar un dataset de imágenes o clips con texto descriptivo uniforme. 2. Configurar el entorno con herramientas como diffusion-pipe y un archivo TOML adaptado (ej. wan_video.toml). 3. Ejecutar el script de entrenamiento, usando por ejemplo Deepspeed para optimización multi-GPU. 4. Finalizado el proceso, obtendrás un archivo .safetensors que puedes usar dentro de los flujos de generación de Wan 2.1.

Existen modelos LoRA creados por la comunidad para Wan 2.1 disponibles en Hugging Face. Por ejemplo, puedes ver la colección Wan2.1 14B 480p I2V LoRAs allí.

Los modelos Wan 2.1 de 14B (T2V e I2V) requieren GPUs potentes, como una RTX 4090, y consumen unos 12GB de VRAM para generar hasta 8 segundos de video en 480p. En cambio, Wan 2.1 T2V-1.3B es mucho más eficiente: necesita aproximadamente 8.19GB de VRAM y puede correr en tarjetas de consumo, generando videos 480p de 5 segundos en unos 4 minutos.

La RTX 3090 (24 GB de VRAM) es ideal para ejecutar el modelo Wan 2.1 T2V-1.3B, que consume solo 8.19GB de memoria. La versión 14B también se puede intentar, pero puede requerir optimizaciones y aún así tener limitaciones de rendimiento, ya que Wan 2.1 14B es más exigente.

Para Wan 2.1, el hardware depende del modelo. El T2V-1.3B está optimizado para GPU con unos 8GB de VRAM, ideal para usuarios con equipos básicos. El T2V-14B ofrece mejor calidad en 720p pero demanda más recursos. Si no tienes hardware potente, puedes usar el entorno del RunComfy AI Playground, que permite generar videos con Wan 2.1 sin costo inicial.

Puedes usar Wan 2.1 sin grandes gastos gracias a RunComfy: 1. RunComfy AI Playground: Ofrece créditos gratuitos para nuevos usuarios, permitiendo explorar Wan 2.1 sin pagar. 2. ComfyUI: Tiene flujos de trabajo preconfigurados para Wan 2.1 y su versión LoRA. Además, puedes usar el modelo 1.3B junto con técnicas como quantization o offloading para reducir el uso de VRAM y abaratar costos de operación.

Wan 2.1 permite generar videos mediante texto o imágenes. Para usar la función de imagen-a-video (I2V): 1. En local, ejecuta el script con el flag -task i2v-14B, especifica la imagen y añade tu prompt. 2. En RunComfy ComfyUI, selecciona el flujo de trabajo correspondiente para crear un video a partir de una imagen. 3. En el Playground de RunComfy, elige directamente el modo 'image-to-video' de Wan 2.1.

Wan 2.1 genera por defecto hasta 81 fotogramas, lo que se traduce en aproximadamente 5 segundos de video si usas 16 FPS. Aunque algunos usuarios han intentado generar más de 100 cuadros, el estándar más estable sigue siendo 81. Este límite mantiene la calidad visual y la coherencia temporal que caracterizan a Wan 2.1.

Wan 2.1 es ideal para una variedad de proyectos creativos, como clips para redes sociales, contenido educativo o videos promocionales. Gracias a su capacidad para generar movimiento dinámico, texto legible y animaciones desde texto o imágenes, Wan 2.1 se convierte en una herramienta potente para creadores de contenido y especialistas en marketing que buscan calidad sin complicaciones técnicas.

Puedes utilizar Wan 2.1 fácilmente en ComfyUI para proyectos de texto-a-video o imagen-a-video. Existen dos guías detalladas: 1. Wan 2.1 en ComfyUI y 2. Wan 2.1 LoRA en ComfyUI. Estos flujos vienen preconfigurados, permitiendo generar videos con Wan 2.1 de forma inmediata y sin necesidad de realizar instalaciones complejas.