SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo: trasferimento di movimento multi-personaggio che preserva l'identità per ComfyUI#
Questo flusso di lavoro offre il SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo: prende un video di guida e trasferisce le azioni a uno o più personaggi di riferimento mantenendo l'identità visiva di ciascun soggetto. Supporta il trasferimento di movimento e la sostituzione completa del personaggio, gestisce riferimenti di identità multi-immagine e produce scene coerenti e multi-ruolo adatte alla narrazione, ai dialoghi e alle performance di gruppo.
Costruito attorno alla generazione video Wan 2.1 con incorporamenti SCAIL_2, guida visiva CLIP Vision e maschere di ruolo basate sulla segmentazione, la pipeline si concentra su identità coerente, movimento naturale e interazioni controllabili in tutto il clip.
Modelli chiave nel flusso di lavoro di Comfyui SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo#
- Backbone video Wan 2.1 tramite ComfyUI-WanVideoWrapper. Il generatore sintetizza fotogrammi video dagli incorporamenti immagine SCAIL_2, condizionamento visivo e testo prompt mentre gestisce contesti lunghi e uso efficiente della memoria. GitHub
- Codificatore CLIP Vision. Fornisce robusti incorporamenti visivi dall'immagine di riferimento primaria o collage per guidare identità e aspetto durante la generazione. Vedi il documento CLIP per il background sull'apprendimento della rappresentazione immagine-testo. arXiv
- Codificatore di testo della famiglia mT5. Codifica i prompt positivi e negativi usati per indirizzare il contenuto verso i soggetti e le azioni desiderate nei fotogrammi. arXiv
- Segmentazione nello stile Segment Anything per il tracciamento degli oggetti video. Il flusso di lavoro utilizza un checkpoint della famiglia SAM per rilevare e tracciare i soggetti e produrre maschere per ruolo che guidano il trasferimento di azioni multi-personaggio. Background sulla segmentazione SAM: GitHub
- Adattatori LoRA. Adattatori opzionali specializzano il generatore per la preservazione dell'identità e la fedeltà dell'azione senza riaddestrare il modello completo. Background sulla regolazione LoRA: arXiv
- Utilità FeiHou Toolbox. Utilità di collage e maschera facilitano i riferimenti di identità multi-immagine e maschere colorate e consapevoli del ruolo per SCAIL 2. GitHub
- Utilità di immagine KJNodes. Il ridimensionamento di alta qualità allinea gli input e le maschere alle dimensioni del video per un campionamento stabile. GitHub
Come usare il flusso di lavoro di Comfyui SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo#
Il flusso di lavoro ha quattro fasi principali: caricare risorse e il generatore, costruire riferimenti e maschere multi-ruolo, compilare incorporamenti SCAIL_2, quindi campionare ed esportare il video finale. I gruppi funzionano dall'alto verso il basso, con anteprime utili a ogni passaggio.
Area di Caricamento Modelli#
Questa area prepara il backbone Wan 2.1 e il suo VAE. Usa WanAnimatePlus ModelLoader (#37) per scegliere il modello base e la precisione, e WanAnimatePlus VAELoader (#71) per il VAE corrispondente. Se intendi influenzare ulteriormente identità o movimento, aggiungi adattatori con WanAnimatePlus LoraSelectMulti (#66), quindi applicali al modello tramite WanAnimatePlus SetLoRAs (#69). WanVideoTorchCompileSettings opzionale (#72) può ridurre la latenza compilando blocchi di attenzione.
Caricamento Immagine Singola#
Fornisci un'immagine di identità primaria con LoadImage nel gruppo Caricamento Immagine Singola. Questa immagine ancora l'aspetto del tuo soggetto principale. Se preferisci costruire un collage di più identità o ruoli, passa nel gruppo Quick Toggle per instradare dall'Ingresso Collage invece dell'immagine singola.
Ingresso Collage#
Usa AutoRefCollage (#370) per assemblare fino a diverse immagini di riferimento in un unico layout, rilevando automaticamente le persone e posizionando i ritagli in una tela pulita. Il collage funge da bacheca di identità multi-ruolo: ogni soggetto contribuisce con segnali di aspetto per la fase di SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo. Un nodo di anteprima mostra il collage assemblato così puoi controllare l'inquadratura prima di procedere.
Riferimento Multi-Immagine#
Qui puoi anche caricare tre o più ritratti curati con LoadImage e confezionarli usando ImageBatchMulti (#331). ImageResizeKJv2 allinea la loro dimensione per adattarsi alla risoluzione video prevista. Questo percorso è utile quando desideri un controllo più stretto su quali identità e angolazioni informano il modello di aspetto.
Caricamento Video#
VHS_LoadVideo (#297) importa il video e l'audio di guida. Puoi forzare un frame rate target per un movimento più fluido, limitare i fotogrammi totali per limitare la durata, saltare un segmento introduttivo o campionare ogni N-esimo fotogramma per iterazioni più rapide. Una sottopipeline “Reference Video Preview” combina e riproduce i fotogrammi caricati così puoi confermare che il clip sembri corretto prima del tracciamento.
Area Maschera#
Il flusso di lavoro rileva e traccia i soggetti per creare le maschere consapevoli del ruolo che alimentano SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo. Tre nodi SAM3_VideoTrack (#315, #316, #306) tracciano oggetti nel video di guida, immagini di riferimento e fotogrammi di prefisso opzionali. SCAIL2ColoredMaskV2 (#354) fonde queste tracce in tre uscite: una maschera video di posa, una maschera immagine di riferimento colorata e una maschera di prefisso per avvii caldi. Le anteprime per maschere a ruolo singolo e multi-ruolo ti aiutano a verificare che ogni colore corrisponda al personaggio corretto prima del campionamento.
Trasferimento di Movimento - Elaborazione degli Incorporamenti#
WanAnimatePlus SCAIL_2 Embeds (#342) trasforma i tuoi input in incorporamenti immagine SCAIL_2 usati dal generatore. Combina caratteristiche VAE, incorporamenti CLIP Vision, la tua immagine di riferimento o collage, la sostituzione dello sfondo (opzionale), i fotogrammi di posa tracciati e le maschere colorate. Puoi eseguire in due modalità: trasferimento di movimento (usa l'aspetto di riferimento con il movimento di guida) o sostituzione del personaggio (sostituisci la persona nel video di input con il tuo riferimento). Esistono anche opzioni per preservare lo sfondo di riferimento principale e per ritagliare o riquadrare fotogrammi di prefisso per esecuzioni lunghe o ad alta risoluzione.
Area di Campionamento#
WanVideoTextEncodeCached codifica i prompt, e WanVideoContextOptions (#290) controlla le finestre temporali tra i fotogrammi. WanAnimatePlus SamplerSettings (#332) raccoglie il modello, gli incorporamenti immagine SCAIL_2 e gli incorporamenti di testo insieme ai parametri iperparametri di campionamento e al programma; WanAnimatePlus SamplerFromSettings (#311) esegue la generazione. WanAnimatePlus Decode (#267) trasforma i latenti in fotogrammi; puoi abilitare il tiling VAE qui se affronti limiti di memoria. Il video viene finalizzato tramite VHS_VideoCombine ed esportato dall'Area di Anteprima; un combinato compagno può esportare un clip solo maschera per un debug rapido.
Quick Toggle e Dimensioni Video#
L'interruttore “true = Sostituzione del Personaggio | false = Trasferimento di Movimento” (#341) cambia istantaneamente come i ruoli sono gestiti a valle. Le costanti di larghezza e altezza alimentano tutti i nodi di ridimensionamento e maschera per mantenere gli allineamenti delle forme. Un FastGroupsBypassSwitch (#351) ti consente di passare tra un'immagine singola e un input collage senza dover rifare i collegamenti.
Nodi chiave nel flusso di lavoro di Comfyui SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo#
SCAIL2ColoredMaskV2 (#354)#
Genera maschere consapevoli del ruolo fondendo tracce di oggetti dal video di guida, immagini di riferimento e fotogrammi di prefisso opzionali. Usa object_indices per scegliere quali ID tracciati diventano ruoli e il prefix_mask_mode per specificare un layout a singola immagine e multi-colore quando guidi diversi personaggi contemporaneamente. Mantieni replacement_mode coerente con il toggle globale in modo che la semantica della maschera corrisponda alla fase di incorporamento.
WanAnimatePlus SCAIL_2 Embeds (#342)#
Fonde VAE, CLIP Vision, riferimenti multi-immagine, fotogrammi di posa e maschere in incorporamenti SCAIL_2 per il generatore. Aumenta ref_strength quando l'identità si sposta; aumenta pose_strength quando la fedeltà del movimento è bassa. Per scene che dovrebbero mantenere uno sfondo di riferimento, abilita la preservazione dello sfondo; quando si parte da un singolo fotogramma di prefisso, abilita la codifica del prefisso a singolo fotogramma.
SAM3_VideoTrack (#315, #316, #306)#
Rileva e traccia i soggetti nei fotogrammi per alimentare il generatore di maschere. Se rilevi meno personaggi, abbassa la detection_threshold o consenti più max_objects; se il tracciamento è rumoroso, aumenta il detect_interval per ridurre il jitter di rilevamento. Controlla sempre l'anteprima della maschera colorata per garantire che ogni ruolo rimanga stabile nel tempo.
VHS_LoadVideo (#297)#
Controlla il clip di guida. force_rate imposta gli FPS di lavoro, frame_load_cap limita la durata, skip_first_frames taglia le introduzioni, e select_every_nth ti consente di sottocampionare i fotogrammi per test più rapidi. Questi controlli influenzano direttamente le finestre di contesto e la memoria, quindi regolali prima del campionamento.
WanAnimatePlus SamplerSettings (#332)#
Contiene i comandi principali di generazione. steps, scheduler e cfg guidano il dettaglio, la morbidezza e l'aderenza ai prompt; denoise_strength governa quanto la guida SCAIL_2 può rimodellare i fotogrammi. Usa l'input seed per la riproducibilità quando affini scene multi-personaggio.
WanAnimatePlus BlockSwap (#67)#
Risparmiatore di memoria opzionale che scambia blocchi di calcolo durante il campionamento. Su budget VRAM limitati o intervalli di fotogrammi lunghi, aumenta lo scambio per prevenire errori di memoria insufficiente; su GPU ad alta VRAM, riducilo o disabilitalo per velocità.
WanAnimatePlus Decode (#267)#
Decodifica i latenti in fotogrammi RGB. Se la tua risoluzione o la lunghezza del clip è alta e la decodifica causa OOM, abilita la decodifica VAE a tile e imposta dimensioni e passi di tile appropriati in modo che i tile si sovrappongano correttamente.
Extra opzionali#
- Per clip multi-personaggio, dai a ciascun ruolo almeno un ritratto pulito e frontale e mantieni l'illuminazione coerente nel collage.
- Inizia con la modalità di trasferimento di movimento per convalidare maschere e qualità del movimento, quindi passa alla sostituzione del personaggio se hai bisogno di sostituire completamente il performer.
- Usa l'anteprima video solo maschera per confermare assegnazioni di ruolo e stabilità del colore prima di un lungo rendering.
- Mantieni tutti gli input allineati alla stessa larghezza e altezza; usa i nodi di ridimensionamento forniti piuttosto che strumenti esterni per evitare discrepanze sottili di forma.
- Se i risultati sembrano troppo stilizzati o fuori identità, abbassa la forza del prompt e aumenta l'enfasi del riferimento nella fase di incorporamento; regola il mix LoRA se hai abilitato gli adattatori.
- I clip lunghi beneficiano di finestre di contesto più grandi in
WanVideoContextOptions; bilancia questo con la memoria abilitando il tiling VAE e, se necessario, uno scambio di blocchi modesto.
Questo flusso di lavoro di SCAIL 2 Trasferimento Azione di Riferimento Multi-ruolo è progettato per rendere il trasferimento di movimento multi-ruolo ripetibile e prevedibile: prepara riferimenti chiari, verifica le maschere, quindi campiona con impostazioni stabili per un movimento naturale e fedele all'identità tra i personaggi.
Riconoscimenti#
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo SCAIL 2 per il SCAIL 2 Multi-role Reference Action Transfer Workflow Source per i loro contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse#
- SCAIL 2/SCAIL 2 Multi-role Reference Action Transfer Workflow Source
- Documenti / Note di rilascio: SCAIL 2 Multi-role Reference Action Transfer Workflow Source
Nota: L'uso dei modelli, dei set di dati e del codice di riferimento è soggetto alle rispettive licenze e ai termini forniti dai loro autori e manutentori.