wan-2-1/image-to-video

Wan 2.1 è il modello AI per video sviluppato da Alibaba, open-source e avanzato, progettato per creare contenuti video di alta qualità. Sfrutta tecniche di diffusione all'avanguardia per generare movimenti realistici e supporta la generazione di testo bilingue (inglese e cinese). La famiglia Wan 2.1 include diversi modelli: T2V-14B (testo in video, ad alta risoluzione), T2V-1.3B (versione più leggera per GPU consumer), I2V-14B-720P (da immagine a video in 720p), e I2V-14B-480P (ottimizzata per 480p con meno carico hardware).

Puoi utilizzare Wan 2.1 in diversi modi:

1. Tramite RunComfy AI Playground: vai su RunComfy AI Playground, seleziona Wan 2.1, inserisci un prompt testuale o carica un'immagine, scegli risoluzione/durata e avvia la generazione video. È semplice e intuitivo.
2. Tramite RunComfy ComfyUI: accedi al workflow Wan 2.1, con ambiente già configurato. Inserisci un prompt o immagine e lancia la generazione.
3. In locale: clona il repository GitHub di Wan 2.1, installa le dipendenze, scarica i pesi necessari e usa gli script da riga di comando per generare i video.

Puoi eseguire Wan 2.1 così:

1. Dal RunComfy AI Playground: accedi, seleziona il modello Wan 2.1, inserisci un prompt testuale (per T2V) o carica un’immagine (per I2V), imposta risoluzione e durata, quindi avvia la generazione.
2. Da RunComfy ComfyUI: scegli tra il workflow standard o quello con LoRA. Inserisci prompt o immagine, personalizza impostazioni, genera e scarica il video realizzato con Wan 2.1.

LoRA ti consente di personalizzare Wan 2.1 modificando stile e movimento senza riaddestrare l'intero modello.

1. Su RunComfy Playground: Wan 2.1 LoRA sarà presto disponibile.
2. Su RunComfy ComfyUI: puoi usare i modelli LoRA su questa pagina, dove l’ambiente è già configurato. Puoi anche caricare i tuoi modelli LoRA personalizzati per Wan 2.1.

Per allenare un modello LoRA per Wan 2.1:

1. Prepara il dataset: raccogli immagini o clip brevi con testi descrittivi coerenti e un trigger word fisso.
2. Configura l’ambiente: usa piattaforme come “diffusion-pipe” e modifica un file TOML (ad es. “wan_video.toml”) con parametri come learning rate, epoch e network rank.
3. Avvia l’addestramento con DeepSpeed o simili, ottimizzando solo i parametri LoRA su Wan 2.1.
4. Una volta completato, carica il checkpoint (.safetensors) nel tuo flusso di generazione video basato su Wan 2.1.

Modelli LoRA creati dalla community per Wan 2.1 sono disponibili su Hugging Face. Ad esempio, puoi consultare questi: Wan2.1 14B 480p I2V LoRAs.

I modelli Wan 2.1 con 14B parametri richiedono GPU potenti, come la RTX 4090, per generare video fluidi a 720p. Normalmente servono circa 12 GB di VRAM per produrre video di 8 secondi a 480p con ottimizzazioni. La versione T2V-1.3B di Wan 2.1 è molto più leggera e adatta a GPU consumer, usando circa 8.19 GB di VRAM per creare video 480p di 5 secondi in 4 minuti.

La RTX 3090 (24 GB di VRAM) è perfetta per usare Wan 2.1 T2V-1.3B, che ne consuma solamente circa 8.19 GB. Anche il modello T2V-14B di Wan 2.1 può teoricamente funzionare, ma richiede molta memoria e ottimizzazioni, e le prestazioni potrebbero risultare instabili o rallentate.

Wan 2.1 funziona in base al modello usato. Il modello T2V-1.3B è efficiente e funziona bene anche su GPU da 8 GB (480p). Il modello T2V-14B offre video 720p di qualità superiore ma richiede più VRAM. Se vuoi provare Wan 2.1 senza un hardware potente, puoi usare il RunComfy AI Playground, che offre crediti gratuiti per iniziare subito online.

Wan 2.1 può essere eseguito nel cloud con costi ridotti usando:

1. RunComfy AI Playground: piattaforma online facile da usare con crediti gratuiti per i nuovi utenti.
2. RunComfy ComfyUI: offre workflow già pronti su Wan 2.1 e Wan 2.1 LoRA, senza bisogno di configurazioni. Per risparmiare ancora di più puoi usare il modello Wan 2.1 T2V-1.3B con tecniche di ottimizzazione come quantizzazione o offloading.

Wan 2.1 supporta la generazione da immagine a video (I2V). Basta fornire un'immagine statica con un prompt testuale per descrivere l’animazione desiderata. Il modello Wan 2.1 genera un video fluido con dinamiche realistiche.

1. In locale: usa la riga di comando con l’opzione -task i2v-14B e specifica il file immagine.
2. Su ComfyUI: utilizza il workflow Wan 2.1.
3. Su Playground: basta selezionare la modalità 'image-to-video'.

Wan 2.1 genera video fino a un massimo di 81 frame, equivalenti a circa 5 secondi a 16 FPS. Il numero di frame deve seguire la formula 4n+1. Alcuni utenti hanno testato durate maggiori, ma 81 frame è la configurazione ottimale per mantenere coerenza temporale e qualità visiva nel video generato da Wan 2.1.

Wan 2.1 è ideale per creare video dinamici da testi o immagini. È particolarmente utile per clip social, contenuti educativi, progetti promozionali e anche editing video. Grazie alla sua capacità di generare movimento realistico e testo leggibile, Wan 2.1 è una scelta solida per content creator e marketer che desiderano produrre video con strumenti AI avanzati ma facili da usare.

Puoi usare Wan 2.1 in ComfyUI per progetti sia testo-in-video che immagine-in-video. Ecco i link utili:

1. Wan 2.1 in ComfyUI
2. Wan 2.1 LoRA in ComfyUI L'interfaccia ComfyUI di RunComfy è già configurata con tutti i modelli Wan 2.1, permettendoti di creare video di qualità professionale senza alcuna configurazione complessa.