I nodi ComfyUI-MochiEdit e il relativo flusso di lavoro sono stati completamente sviluppati da logtd e Kijai. Diamo tutto il dovuto credito a logtd e Kijai per questo lavoro innovativo. Sulla piattaforma RunComfy, stiamo semplicemente presentando i loro contributi alla comunità. Apprezziamo profondamente il lavoro di logtd e Kijai!
Il flusso di lavoro Mochi Edit è uno strumento progettato per consentire agli utenti di modificare contenuti video utilizzando prompt basati su testo. Supporta compiti come aggiungere o modificare elementi (ad esempio, posizionare cappelli sui personaggi), regolare lo stile generale o sostituire soggetti all'interno del filmato.
1. Mochi Edit Unsampling#
Al centro di Mochi Edit c'è la sua tecnica di unsampling. La tecnica di unsampling di Mochi Edit sfrutta un approccio semplificato per l'editing di video e immagini, consentendo trasformazioni attraverso prompt multi-modali senza richiedere passaggi di preprocessing aggiuntivi o moduli di rete esterni. L'idea centrale dell'unsampling di Mochi Edit è manipolare direttamente la rappresentazione latente del video, piuttosto che eseguire operazioni complesse come il rilevamento del volto o la stima della posa, comuni nelle pipeline di generazione di immagini tradizionali. Questo metodo è allineato con l'obiettivo più ampio di creare un processo di generazione di immagini più flessibile e snello, simile alla capacità di GPT di generare testo da qualsiasi prompt di input. Con la tecnica di unsampling di Mochi Edit, gli utenti possono generare vari stili e modifiche direttamente da una descrizione multi-modale, rendendo il processo molto più intuitivo ed efficiente.
In sintesi, Mochi Edit ti consente di creare piccole variazioni del video che carichi. Come copiare e tradurre il movimento del soggetto su un altro soggetto o cambiare impostazioni di sfondo, cambiare proprietà del soggetto..ecc.
2. Come Usare il Flusso di Lavoro Mochi Edit?#
In questo flusso di lavoro, i nodi Verdi a Sinistra sono gli input per Video e testo, i nodi Viola al Centro sono i nodi unsampler e sampler mochi, e il Blu a Destra è il nodo di output video.
2.1 Carica Nodo Video#
- Clicca e Carica il tuo video nel nodo di caricamento video
frame_load_cap: è impostato di default su 32 fotogrammi. Sopra i 32 fotogrammi, si osservano artefatti di salto. Mantieni sotto i 3 secondi (32) fotogrammi per i migliori risultati.skip_frames: Salta fotogrammi se vuoi iniziare da un fotogramma specifico
Usa il Formato Quadrato (512 x 512) o Orizzontale (848 x 480) nella dimensione di upscale. Altri danno errore.
2.2 Prompt#
Questo è un uso sperimentale, a volte può funzionare o a volte no o a volte cambiare completamente il video originale.
- Usa una piccola variazione del soggetto come prompt.
- Una Variazione Forte può distorcere e cambiare completamente l'immagine.
- Prova un seme diverso se non ottieni risultati corretti.
2.3 Gruppi di Nodi di Sampling e Unsampling#
I Ksampler di Sampling e Unsampling sono impostati sulle migliori impostazioni dall'autore. Se le impostazioni vengono modificate vagamente, possono risultare in risultati strani e indesiderabili. Sentiti libero di giocare con:
Seeddel Sampler per variazioninum_stepselinear_stepper Cambiare la qualità o la velocità di rendering.eta,start_stepeend_Stepper cambiare la forza di unsampling, percentuale di inizio e fine.
2.4 Modelli Mochi#
I modelli sono scaricati da questo HuggingFace Repo nel tuo comfyui Automaticamente. Ci vorranno circa 5-10 minuti la prima volta per scaricare il modello da 10.3 GB.
La tecnica di unsampling di Mochi Edit rivoluziona l'editing video e immagine semplificando il processo e rimuovendo la necessità di preprocessamenti complessi o moduli aggiuntivi. Questo approccio innovativo consente agli utenti di generare visuali personalizzate di alta qualità senza sforzo attraverso prompt multi-modali. Combinando flessibilità e accessibilità, Mochi Edit apre la strada a un futuro di generazione di immagini più intuitivo e creativo.
