wan-2-1/image-to-video

Wan 2.1 est le modèle vidéo IA open source d’Alibaba, conçu pour créer du contenu vidéo de haute qualité. Il utilise des techniques avancées de diffusion pour générer des mouvements réalistes et prend en charge la génération de texte bilingue (anglais et chinois). La famille Wan 2.1 comprend plusieurs versions :

1. T2V-14B : un modèle texte-vidéo (14 milliards de paramètres) qui produit des vidéos détaillées en 480p/720p, mais qui demande davantage de VRAM.
2. T2V-1.3B : une version plus légère avec 1,3 milliard de paramètres, optimisée pour les GPU grand public (~8 Go de VRAM), idéale pour la génération efficace en 480p.
3. I2V-14B-720P : un modèle image-vidéo qui transforme des images fixes en vidéos fluide en 720p avec un rendu professionnel.
4. I2V-14B-480P : similaire à la version 720p mais adaptée aux sorties en 480p, réduisant la charge matérielle tout en conservant une bonne qualité.

1. En ligne via le RunComfy AI Playground : Accédez simplement au RunComfy AI Playground et choisissez l’espace Wan 2.1. Entrez un prompt textuel ou téléversez une image, puis définissez vos préférences de résolution et de durée. Le système générera une vidéo que vous pourrez prévisualiser et télécharger. Wan 2.1 y est facile à prendre en main, même pour les débutants.

2. En ligne via RunComfy ComfyUI : Visitez la page Wan 2.1 Workflow pour commencer. Ce flux de travail Wan 2.1 est directement opérationnel, avec tous les modèles et environnements préconfigurés. Vous pouvez ainsi produire des vidéos de qualité à partir d’un texte ou d’une image sans configuration manuelle.

3. En local : Clonez le dépôt Wan 2.1 depuis GitHub, installez les dépendances et téléchargez les poids modèles appropriés (T2V-14B, T2V-1.3B, I2V-14B-720P ou I2V-14B-480P). Ensuite, utilisez les scripts en ligne de commande (par ex. generate.py) pour créer vos vidéos localement avec Wan 2.1.

1. Avec RunComfy AI Playground : Rendez-vous sur le RunComfy AI Playground, connectez-vous, puis sélectionnez le modèle Wan 2.1. Pour une génération texte-vers-vidéo (T2V), entrez votre prompt descriptif. Pour le mode image-vers-vidéo (I2V), téléversez votre image de base. Réglez les paramètres (résolution 480p ou 720p, durée), puis lancez la génération. À la fin, vous pouvez visionner ou télécharger la vidéo obtenue avec Wan 2.1.

2. Avec RunComfy ComfyUI : Sélectionnez le Workflow Wan 2.1 ou le Workflow Wan 2.1 LoRA selon vos besoins. Dans ComfyUI, saisissez un prompt ou téléversez une image, et vous pouvez aussi appliquer un style via LoRA. Personnalisez les paramètres de sortie, puis générez et téléchargez votre vidéo Wan 2.1 finalisée.

LoRA vous permet de personnaliser le style ou les mouvements générés par Wan 2.1 sans devoir réentraîner l’ensemble du modèle.

1. Dans le RunComfy AI Playground : La fonctionnalité Wan 2.1 LoRA sera bientôt disponible.

2. Dans ComfyUI : Rendez-vous sur la page Wan 2.1 LoRA Customizable AI Video Generation pour utiliser les modèles LoRA disponibles. Vous pouvez aussi y téléverser vos propres modèles Wan 2.1 LoRA, ce qui rend la personnalisation simple et accessible.

Voici les étapes typiques pour entraîner un modèle LoRA basé sur Wan 2.1 :

1. Préparation du dataset : Collectez des images de haute qualité (ou des clips courts) avec des légendes textuelles cohérentes. Utilisez un mot-clé déclencheur identique pour faciliter l’apprentissage ciblé par Wan 2.1.

2. Configuration de l’environnement : Utilisez un framework d’entraînement comme diffusion-pipe, en configurant un fichier TOML (par exemple "wan_video.toml") avec les paramètres tels que le taux d’apprentissage (3e-05), le nombre d’époques, le rang du réseau (ex. 32), etc.

3. Lancement de l’entraînement : Une fois les données et la configuration prêtes, exécutez le script d’entraînement via deepspeed (idéal pour les configurations multi-GPU) pour ajuster uniquement les paramètres LoRA sur le modèle Wan 2.1 existant.

4. Post-entraînement : À la fin, le point de contrôle LoRA est sauvegardé (fichier .safetensors), prêt à être utilisé dans vos générateurs vidéo Wan 2.1.

Des modèles LoRA créés par la communauté pour Wan 2.1 sont disponibles sur Hugging Face. Par exemple, la collection Wan2.1 14B 480p I2V LoRAs regroupe plusieurs variantes prêtes à l’emploi.

Les modèles Wan 2.1 T2V-14B et I2V-14B nécessitent généralement des GPU performants comme les NVIDIA RTX 4090 pour produire des vidéos HD efficacement. Par défaut, ces modèles génèrent des vidéos 720p de 5 secondes. Avec certaines optimisations (offloading, quantification), ils peuvent produire jusqu’à 8 secondes en 480p avec environ 12 Go de VRAM.

Le modèle Wan 2.1 T2V-1.3B consomme beaucoup moins de ressources : environ 8,19 Go de VRAM. Il est donc idéal pour les GPU grand public, comme les RTX 3060 ou 3090, avec une légère perte en résolution ou vitesse par rapport aux modèles plus lourds.

La RTX 3090 (24 Go de VRAM) est parfaitement adaptée pour exécuter le modèle Wan 2.1 T2V-1.3B. Ce dernier requiert environ 8,19 Go de VRAM en phase d’inférence, ce qui est bien en-dessous des capacités de la carte.

Il est théoriquement possible de faire tourner le modèle Wan 2.1 T2V-14B sur une RTX 3090, mais cela peut être compliqué selon les optimisations déployées. Bien que certains aient réussi avec seulement 10 Go de VRAM, cela implique des compromis sur les performances.

Les besoins matériels dépendent du modèle Wan 2.1 que vous utilisez. Le modèle T2V-1.3B fonctionne très bien avec un GPU standard de 8 Go de VRAM pour générer des vidéos 480p rapidement. Si vous souhaitez produire des vidéos 720p avec plus de détails, tournez-vous vers le modèle T2V-14B, plus exigeant en VRAM.

Pour tester Wan 2.1 sans matériel puissant, le RunComfy AI Playground vous permet d’accéder au service en ligne gratuitement avec des crédits de départ. C’est une façon simple d’explorer Wan 2.1 en toute liberté.

Voici deux solutions économiques pour utiliser Wan 2.1 dans le cloud via RunComfy :

1. RunComfy AI Playground : Vous pouvez exécuter Wan 2.1 et d’autres outils IA directement en ligne. Les nouveaux utilisateurs reçoivent des crédits gratuits pour tester le service.

2. RunComfy ComfyUI : Profitez d’un environnement préconfiguré pour Wan 2.1 ou Wan 2.1 LoRA sans installation manuelle. Une fois connecté, vous pouvez générer vos vidéos immédiatement.

Pour plus d’économies, privilégiez le modèle 1.3B et utilisez des optimisations (quantification, offloading via --offload_model True) afin de réduire la VRAM et les coûts.

Wan 2.1 intègre une fonction image-vers-vidéo (I2V) très puissante, en plus du mode texte-vers-vidéo. Pour animer une image, il suffit de fournir une image fixe et un prompt décrivant le mouvement à générer.

1. En local : Lancez Wan 2.1 en ligne de commande avec -task i2v-14B, indiquez le chemin de votre image (-image examples/i2v_input.JPG) et ajoutez votre prompt.

2. Sur RunComfy ComfyUI : Le workflow Wan 2.1 vous permet de créer des vidéos automatiquement à partir d’images.

3. Sur le Playground : Choisissez le mode image-vers-vidéo et lancez directement le processus depuis l’interface Wan 2.1.

Wan 2.1 peut générer jusqu’à 81 images par vidéo dans sa configuration standard. Cela correspond à environ 5 secondes de vidéo, en supposant une cadence de 16 images/seconde.

Le modèle impose un formatage spécifique du nombre d’images, basé sur la formule 4n+1 (par ex. 81 images). Certains utilisateurs ont testé jusqu’à 100 images, mais 81 reste le réglage recommandé pour un résultat fluide et stable.

Wan 2.1 est un outil extrêmement polyvalent pour les créateurs de contenu. Il permet de générer des vidéos IA à partir de texte ou d’images, voire de modifier des séquences existantes. Que vous réalisiez des clips pour les réseaux sociaux, du contenu éducatif ou des vidéos promotionnelles, Wan 2.1 vous offre une solution facile et puissante. Sa capacité à produire des animations riches et du texte lisible en fait un excellent choix pour les professionnels souhaitant obtenir des résultats de qualité sans complexité technique.

Wan 2.1 est disponible dans ComfyUI pour tous vos projets vidéo. Voici deux interfaces pour commencer facilement :

1. Wan 2.1 dans ComfyUI : pour générer des vidéos à partir de texte ou d'images.
2. Wan 2.1 LoRA dans ComfyUI : pour des rendus stylisés avec LoRA.

L’environnement RunComfy est préconfiguré, avec tous les modèles Wan 2.1 déjà installés. Vous pouvez lancer la génération dès votre première connexion, sans aucune opération complexe.