ByteDance USO: Flusso di lavoro unificato di generazione di stile e soggetto per ComfyUI#
Questo flusso di lavoro porta ByteDance USO su ComfyUI per i creatori che vogliono personaggi fedeli all'identità e un trasferimento di stile preciso in un unico luogo. Costruito su FLUX.1‑dev, supporta generazione basata sul soggetto, sullo stile e combinata in modo da poter posizionare un personaggio in nuove scene mantenendo la somiglianza, applicare stili da immagini di riferimento o fare entrambe le cose contemporaneamente.
Usa ByteDance USO quando hai bisogno di una forte coerenza del soggetto con un controllo flessibile e di alta qualità dello stile. Il grafico include due rami complementari: un percorso soggetto+stile che si condiziona su un'immagine di identità e un percorso guidato da prompt che può essere utilizzato con o senza riferimenti di stile. Entrambi i percorsi salvano le immagini in modo indipendente in modo da poter confrontare rapidamente i risultati.
Modelli chiave nel flusso di lavoro Comfyui ByteDance USO#
- FLUX.1‑dev. Il trasformatore di diffusione di base che alimenta la qualità e la velocità della generazione. Fornisce lo scheletro di campionamento utilizzato da ByteDance USO in questo flusso di lavoro. Model card
- ByteDance USO DiT LoRA v1. Un adattatore a basso rango che inietta capacità di stile e soggetto unificati in FLUX.1‑dev, consentendo la preservazione dell'identità e la guida dello stile in un setup unificato. I file sono forniti nel pacchetto USO 1.0. Repository
- USO FLUX.1 Projector v1. Una patch proiettore che collega le caratteristiche CLIP‑Vision allo scheletro di generazione in modo che suggerimenti di stile e soggetto possano guidare efficacemente il modello. Incluso nel pacchetto USO. Repository
- SigCLIP Vision (patch14, 384). Il codificatore di visione che estrae embedding dalle tue immagini di riferimento di stile e soggetto, utilizzato dai moduli USO per la guida visiva. Repository
Come usare il flusso di lavoro Comfyui ByteDance USO#
Il grafico ha due rami che possono funzionare indipendentemente. Il ramo superiore utilizza un'immagine di identità più riferimenti di stile; il ramo inferiore è guidato da prompt e può includere opzionalmente riferimenti di stile. Genera da entrambi i rami o da entrambi.
Passo 1 – Caricare i Modelli#
Questo passo inizializza FLUX.1‑dev, il ByteDance USO LoRA, il proiettore USO e il codificatore di visione SigCLIP. Prepara il modello di base per la guida unificata di stile e soggetto. Entrambi i rami caricano lo stesso set in modo da poter eseguire flussi di lavoro soggetto+stile o prompt senza riconfigurare i modelli. Una volta caricato, il flusso di modelli è pronto per i processori di riferimento di USO.
Passo 2 – Immagine Soggetto/Identità#
Fornisci un'immagine di identità pulita del tuo personaggio. Il flusso di lavoro la ridimensiona a una dimensione di lavoro adatta e la codifica in un latente che preserva le caratteristiche facciali o del personaggio chiave. Questo latente è fuso con il tuo prompt in modo che ByteDance USO possa posizionare il soggetto in nuove scene mantenendo l'identità. Ometti questo passo se desideri una generazione solo di stile o solo di testo.
Passo 3 – Riferimento di Stile#
Aggiungi una o due immagini di stile per guidare la palette, i materiali e la pennellata. Ogni immagine è codificata con il modello di visione e applicata attraverso i nodi di riferimento di stile di USO, che stratificano le influenze di stile sul modello caricato. L'ordine è importante quando si usano due riferimenti, poiché il secondo riferimento è applicato dopo il primo. Puoi bypassare questo gruppo per eseguire un passaggio solo basato sul soggetto o solo testo.
Prompt#
Scrivi un prompt guidato dall'intento per composizione, umore e dettagli. Nel ramo soggetto+stile, il tuo prompt è combinato con il latente di identità e la guida di USO in modo che testo, soggetto e stile tirino nella stessa direzione. Nel ramo guidato da prompt, il testo da solo (opzionalmente con riferimenti di stile) guida l'immagine. Mantieni i prompt specifici; evita di contraddire lo stile scelto.
Dimensione Immagine#
Scegli la risoluzione target per la generazione. La dimensione scelta influenza la compattezza della composizione e la densità dei dettagli, specialmente per ritratti rispetto a scatti a figura intera. Se la VRAM è limitata, inizia più piccolo e ingrandisci successivamente. Entrambi i rami espongono un nodo di dimensione immagine semplice in modo da poter adattare l'aspetto e la fedeltà al tuo caso d'uso.
Campionamento e Output#
Ogni ramo campiona con un campionatore standard, decodifica in RGB e salva nel proprio output. Tipicamente otterrai due immagini per esecuzione: un risultato soggetto stilizzato e un risultato guidato da prompt. Itera regolando il prompt o scambiando i riferimenti; ricampiona per esplorare alternative o fissa il seme per la ripetibilità.
Nodi chiave nel flusso di lavoro Comfyui ByteDance USO#
USOStyleReference (#56)#
Applica un'immagine di stile al flusso di modelli corrente usando il proiettore USO e le caratteristiche CLIP‑Vision. Usa un riferimento per un aspetto forte e coerente o concatenane due per miscele sfumate; il secondo riferimento affina il primo. Se lo stile domina troppo, prova un riferimento singolo e più pulito o semplifica il suo contenuto.
ReferenceLatent (#44)#
Inietta il latente soggetto codificato nel percorso di condizionamento in modo che ByteDance USO preservi l'identità. Funziona meglio con foto d'identità senza ingombri che mostrano chiaramente il volto o le caratteristiche distintive del personaggio. Se l'identità scivola, fornisci un riferimento più completo o riduci i suggerimenti di stile conflittuali.
FluxKontextMultiReferenceLatentMethod (#41)#
Combina più segnali di riferimento all'interno del percorso di contesto FLUX. Qui è dove il contesto del soggetto e del prompt sono bilanciati prima del campionamento. Se i risultati sembrano troppo vincolati, rilassa i riferimenti; se si allontanano, rafforza le immagini del soggetto o semplifica il prompt.
FluxGuidance (#35)#
Controlla la forza della guida testuale rispetto ai segnali di riferimento. Valori più bassi lasciano che soggetto/stile guidino; valori più alti rafforzano il prompt più fortemente. Regola quando vedi il prompt sottofitto (aumenta la guida) o lo stile/soggetto sovrascritto (diminuisci la guida).
ImageScaleToMaxDimension (#109)#
Prepara l'immagine di identità per un'estrazione stabile delle caratteristiche. Dimensioni massime più piccole favoriscono una composizione più ampia; dimensioni maggiori aiutano quando il riferimento è un ritratto stretto e hai bisogno di indizi di identità più nitidi. Regola in base al fatto che il tuo riferimento soggetto sia a figura intera o un primo piano.
EasyCache (#95)#
Accelera l'inferenza riutilizzando stati intermedi quando i cambiamenti sono minori. Ottimo per modifiche rapide ai prompt e iterazioni rapide, ma può ridurre leggermente i micro-dettagli. Disabilitalo per rendering finali di altissima qualità.
KSampler (#31)#
Esegue i passaggi di diffusione e controlla la casualità tramite scelta di seme e campionatore. Aumenta i passaggi per più dettagli, o blocca il seme per riprodurre un aspetto mentre cambi i riferimenti. Se le texture appaiono rumorose, prova un campionatore diverso o meno passaggi con una guida di stile più forte.
Extra opzionali#
- Per il lavoro di identità ByteDance USO, preferisci immagini di soggetti neutrali e uniformemente illuminate; evita trucco pesante o angoli estremi che possono confliggere con i suggerimenti di stile.
- Quando sovrapponi due riferimenti di stile, posiziona prima l'estetica più ampia e il riferimento di texture/dettaglio secondo per affinare senza sovrastare l'identità.
- Mantieni il prompting negativo al minimo; il grafico utilizza intenzionalmente un percorso negativo neutro in modo che i priori appresi da USO e i riferimenti si allineino pulitamente.
- Itera rapidamente a risoluzione più bassa o con cache attivata, poi disattiva la cache e ingrandisci i tuoi semi preferiti per i finali.
- Usa semi riproducibili quando confronti modalità solo soggetto, solo stile e combinate per capire come ByteDance USO bilancia ogni segnale.
Riconoscimenti#
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo ByteDance per il modello USO e il team ComfyUI per il tutorial sul Flusso di Lavoro Nativo ByteDance USO ComfyUI per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse#
- ByteDance/USO
- GitHub: bytedance/USO
- Hugging Face: bytedance-research/USO
- arXiv: 2508.18966
- Docs / Note di rilascio: Documentazione ByteDance USO
Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.
