Qwen Image 2.1 Inpainting: Flusso di lavoro di editing locale senza offset per cambiamenti precisi guidati da istruzioni#
Questo flusso di lavoro ComfyUI offre modifiche locali mirate con Qwen Image 2.1 Inpainting utilizzando un'immagine di input, una maschera utente e istruzioni chiare in inglese. Segue una strategia senza offset che mantiene perfettamente allineati l'immagine di lavoro e la maschera, quindi applica rumore latente solo all'interno della regione mascherata in modo che il modello si concentri sulla modifica richiesta preservando la composizione circostante.
Usalo per aggiungere o sostituire dettagli localizzati come un subacqueo, un cowboy o una camicia di lino. Il design enfatizza il realismo e la coerenza della scena con immagini di riferimento opzionali, ma non garantisce risultati pixel-identici al di fuori della maschera. Aspettati inserimenti fedeli, illuminazione naturale e ombre di contatto, e cambiamenti collaterali minimi vicino al bordo della maschera.
Modelli chiave nel flusso di lavoro Comfyui Qwen Image 2.1 Inpainting#
- Modello di diffusione Qwen-Image 2.1. Il generatore di immagini principale che esegue l'inpainting guidato da istruzioni e l'editing locale, condizionato dal tuo prompt e dalle immagini di riferimento. Model card
- Qwen-Image 2.1 VAE. Codifica l'immagine di input in latenti e decodifica i latenti modificati in pixel, aiutando a preservare l'aspetto globale e lo spazio colore. Model card
- Codificatore testo/immagine Qwen-Image 2.1. Trasforma le istruzioni di editing in inglese e i riferimenti di scena in segnali di condizionamento che guidano il processo di diffusione verso la modifica richiesta. Model card
Come utilizzare il flusso di lavoro Comfyui Qwen Image 2.1 Inpainting#
In sintesi: fornisci un'immagine, dipingi una maschera sull'area da modificare e scrivi istruzioni concise in inglese. Il flusso di lavoro scala l'immagine per il modello, allinea la maschera senza offset, semina rumore solo dove sono necessarie modifiche, codifica il tuo prompt e le immagini di riferimento opzionali, denoisa per realizzare il cambiamento e salva un confronto affiancato.
Immagine di input + Maschera di inpainting (LoadImage (#11))#
Carica l'immagine di lavoro e la sua maschera di inpainting. La maschera dovrebbe coprire solo la regione che vuoi modificare, con un piccolo margine intorno ai bordi per la fusione. I bordi più morbidi producono tipicamente giunzioni più pulite. Mantieni il resto dell'immagine non mascherato in modo che il modello dia priorità all'inserimento o alla sostituzione mirata.
Istruzioni di modifica (Inglese) (Text (#165))#
Scrivi istruzioni chiare e specifiche che descrivano cosa aggiungere o modificare, dove dovrebbe apparire e come dovrebbe apparire rispetto alla scena. Menziona scala, posa, prospettiva e illuminazione per abbinare la foto. Vincoli brevi come "preserva la casa e la costa" aiutano a mantenere il contesto. La fraseologia negativa è opzionale ma può allontanare il modello da attributi indesiderati.
Riferimento 2 – Scena originale (LoadImage (#134))#
Aggiungi una vista originale e non modificata della stessa scena come riferimento di conservazione. Il flusso di lavoro lo utilizza per ancorare composizione e illuminazione in modo che l'inpainting si fonda naturalmente. La corrispondenza del punto di vista della fotocamera e dell'inquadratura è più efficace. Questo passaggio è opzionale ma raccomandato per il realismo.
Riferimento 3 – Scena originale (LoadImage (#136))#
Opzionalmente aggiungi un secondo riferimento alla scena originale. Fornire più riferimenti coerenti migliora la stabilità della struttura e del colore intorno alla modifica. Usa immagini con lo stesso obiettivo, ora del giorno ed esposizione quando possibile.
Scala immagine e maschera (gruppo)#
Questo gruppo standardizza la risoluzione e garantisce l'allineamento della maschera con un approccio senza offset. L'immagine è scalata a una dimensione compatibile con il modello, fatta passare attraverso il VAE per bloccare le dimensioni, quindi GetImageSize (#132) alimenta quelle dimensioni esatte a ImageScale (#158) e ResizeMask (#148) in modo che i pixel e la maschera corrispondano perfettamente. GrowMaskWithBlur (#128) può espandere e sfumare delicatamente la maschera per ridurre le giunzioni dure. Infine, SetLatentNoiseMask (#126) assicura che il rumore fresco sia applicato solo all'interno della regione mascherata, concentrando le modifiche dove hai dipinto.
modello (gruppo)#
I componenti del modello sono caricati, le tue istruzioni e le immagini di riferimento sono codificate, e il passaggio di denoising viene eseguito. UNETLoader (#192), VAELoader (#178), e CLIPLoader (#177) portano nella suite di modelli Qwen-Image 2.1. TextEncodeQwenImage21 (#191) converte il tuo prompt più i riferimenti in condizionamento, mentre KSamplerAdvanced (#193) esegue l'inpainting utilizzando i latenti mascherati da SetLatentNoiseMask (#126). VAEDecode (#194) restituisce l'immagine finale.
Confronta e salva#
Image Comparer (rgthree) (#51) mostra una vista dal vivo prima/dopo che ti aiuta a giudicare l'allineamento, l'illuminazione e la qualità della giunzione. SaveImage (#201) scrive il risultato su disco utilizzando il prefisso scelto in modo da poter iterare rapidamente e mantenere versioni organizzate.
Nodi chiave nel flusso di lavoro Comfyui Qwen Image 2.1 Inpainting#
TextEncodeQwenImage21 (#191)#
Codifica le istruzioni in inglese insieme a un massimo di tre immagini di scena in condizionamento per Qwen Image 2.1 Inpainting. Usa il campo prompt per ciò che vuoi aggiungere o modificare e negative_prompt per evitare tratti. Il controllo resolution imposta la scala di lavoro interna del modello; sono consigliati valori divisibili per 32. Valori più alti possono aumentare il dettaglio globale ma possono richiedere più VRAM e tempo.
SetLatentNoiseMask (#126)#
Applica una maschera di rumore in modo che il nuovo segnale sia introdotto principalmente all'interno della regione che hai dipinto, consentendo modifiche locali con una forte conservazione dello sfondo. Abbina questo a una maschera leggermente sfumata per transizioni senza giunzioni. Le aree non mascherate sono rispettate ma non congelate a livello di pixel, quindi piccoli cambiamenti incidentali vicino ai bordi sono possibili.
GrowMaskWithBlur (#128)#
Preprocessa la tua maschera per confini puliti. Espandere leggermente può assicurare che l'intero nuovo oggetto sia all'interno della zona modificabile, e aggiungere sfocatura sfuma i bordi per minimizzare le giunzioni. Se la precisione è fondamentale, riduci espansione e sfocatura; se la fusione è la priorità, aumentale moderatamente.
KSamplerAdvanced (#193)#
Esegue il processo di denoising che realizza la tua istruzione all'interno della regione mascherata. Regola i passaggi e il campionatore per bilanciare velocità e fedeltà, e imposta un seed per riprodurre i risultati durante l'iterazione. Una guida inferiore spesso fonde gli inserimenti in modo più naturale, mentre una guida superiore può far rispettare una maggiore aderenza al testo.
ImageScaleToMaxDimension (#138)#
Imposta il bordo lungo dell'immagine di lavoro per un buon compromesso tra dettaglio e costo computazionale. Valori più grandi producono inserimenti più nitidi ma aumentano l'uso della memoria e il tempo di rendering. Inizia moderatamente, quindi scala solo se hai bisogno di più dettagli fini.
ResizeMask (#148)#
Ridimensiona la maschera di inpainting per corrispondere esattamente alle dimensioni di lavoro del modello determinate in precedenza. Questo allineamento senza offset previene artefatti di "spostamento della maschera" e mantiene la tua regione dipinta perfettamente registrata con i pixel dell'immagine.
Extra opzionali#
- Mantieni le istruzioni concise e concrete: cosa, dove, scala, prospettiva, illuminazione e qualsiasi elemento che deve essere preservato.
- Progetta maschere con un piccolo margine e bordi morbidi; includi l'intera impronta dell'oggetto più ombre di contatto per un ancoraggio realistico.
- Fornisci uno o due riferimenti alla scena originale per una migliore composizione e stabilità del colore, soprattutto con sfondi complessi.
- Usa una risoluzione divisibile per 32; aumenta gradualmente se hai bisogno di più dettagli, osservando VRAM e tempo.
- Blocca un seed per la riproducibilità quando confronti modifiche al prompt o alla maschera.
- Per giunzioni ostinate, esegui un passaggio leggero con una maschera più stretta e morbida che copre solo la zona di transizione.
Questo flusso di lavoro ComfyUI senza offset rende Qwen Image 2.1 Inpainting pratico e prevedibile per inserimenti di oggetti quotidiani e sostituzioni locali. Con maschere allineate, rumore latente mascherato e condizionamento guidato da riferimenti, puoi aggiungere elementi credibili che si abbinano alla geometria e alla luce della tua scena.
Riconoscimenti#
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo con gratitudine RunningHub per la fonte del flusso di lavoro, Qwen per il modello Qwen-Image-2.1 e Qwen per gli esempi ufficiali di editing locale per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse#
- RunningHub/Fonte del flusso di lavoro
- Docs / Note di rilascio: Fonte del flusso di lavoro
- Qwen/Qwen-Image-2.1
- GitHub: QwenLM/Qwen-Image-2.1
- Hugging Face: Qwen/Qwen-Image-2.1
- Qwen/Esempi ufficiali di editing locale
- Docs / Note di rilascio: Esempi ufficiali di editing locale
Nota: L'uso dei modelli, dei dataset e del codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.