Qwen Image 2.1 修補：無位移本地編輯工作流程，實現精確的指令引導更改#
這個 ComfyUI 工作流程使用 Qwen Image 2.1 修補來提供針對性的本地編輯，使用輸入圖像、用戶遮罩和清晰的英語指令。它遵循無位移策略，保持工作圖像和遮罩完美對齊，然後僅在遮罩區域內應用潛在噪音，讓模型專注於您要求的更改，同時保留周圍的構圖。
可用於添加或替換局部細節，如潛水員、牛仔或亞麻襯衫。設計強調真實感和場景一致性，並可選擇使用參考圖像，但不保證遮罩外部的像素完全相同。預期忠實的插入，自然的光照和接觸陰影，以及遮罩邊界附近的最小附帶變化。
Comfyui Qwen Image 2.1 修補工作流程中的關鍵模型#
- Qwen-Image 2.1 擴散模型。核心圖像生成器，進行指令引導的修補和本地編輯，受您的提示和參考圖像條件的影響。 Model card
- Qwen-Image 2.1 VAE。將輸入圖像編碼為潛在向量並將編輯後的潛在向量解碼回像素，有助於保留整體外觀和色彩空間。 Model card
- Qwen-Image 2.1 文本/圖像編碼器。將英語編輯指令和場景參考轉換為調節信號，引導擴散過程朝著您要求的編輯方向進行。 Model card
如何使用 Comfyui Qwen Image 2.1 修補工作流程#
簡要說明：您提供一幅圖像，在要更改的區域上塗抹遮罩，並撰寫簡明的英語指令。工作流程將圖像縮放至模型大小，無位移對齊遮罩，僅在需要編輯的地方添加噪音，編碼您的提示和可選的參考圖像，去噪實現更改，並保存並排比較。
輸入圖像 + 修補遮罩 (LoadImage (#11))#
加載工作圖像及其修補遮罩。遮罩應僅覆蓋您想更改的區域，並在邊緣周圍留有小緩衝區以便混合。較柔和的邊緣通常會產生更乾淨的接縫。保持圖像的其餘部分未遮罩，以便模型優先處理目標插入或替換。
編輯指令（英語） (Text (#165))#
撰寫清晰、具體的指令，描述要添加或修改的內容、出現位置及其與場景相對的外觀。提及比例、姿勢、透視和光照以匹配照片。簡要的約束條件如"保留房子和海岸線"有助於保持上下文。負面措辭是可選的，但可以將模型引導遠離不需要的屬性。
參考 2 – 原始場景 (LoadImage (#134))#
添加同一場景的原始未編輯視圖作為保留參考。工作流程使用它來錨定構圖和光照，使修補自然融合。匹配相機視點和框架最有效。此步驟是可選的，但為了真實感，建議使用。
參考 3 – 原始場景 (LoadImage (#136))#
可選地添加第二個原始場景參考。提供多個一致的參考可提高編輯周圍的結構和顏色穩定性。盡量使用相同鏡頭、時間和曝光的圖像。
縮放圖像和遮罩（組）#
此組標準化分辨率並保證遮罩對齊，採用無位移方法。圖像縮放至模型友好大小，通過 VAE 來回處理以鎖定尺寸，然後 GetImageSize (#132) 將這些確切尺寸傳遞給 ImageScale (#158) 和 ResizeMask (#148)，以便像素和遮罩完美匹配。GrowMaskWithBlur (#128) 可輕微擴展和羽化遮罩以減少硬接縫。最後，SetLatentNoiseMask (#126) 確保新噪音僅應用於遮罩區域內，專注於您塗抹的編輯。
模型（組）#
模型組件已加載，您的指令和參考圖像已編碼，並運行去噪步驟。UNETLoader (#192)、VAELoader (#178) 和 CLIPLoader (#177) 引入 Qwen-Image 2.1 模型套件。TextEncodeQwenImage21 (#191) 將您的提示加上參考轉換為調節信號，而 KSamplerAdvanced (#193) 使用 SetLatentNoiseMask (#126) 的遮罩潛在向量進行修補。VAEDecode (#194) 返回最終圖像。
比較和保存#
Image Comparer (rgthree) (#51) 顯示實時前後視圖，幫助您判斷對齊、光照和接縫質量。SaveImage (#201) 使用您選擇的前綴將結果寫入磁盤，以便您快速迭代並保持組織良好的版本。
Comfyui Qwen Image 2.1 修補工作流程中的關鍵節點#
TextEncodeQwenImage21 (#191)#
將英語指令與最多三個場景圖像編碼為 Qwen Image 2.1 修補的調節信號。使用 prompt 欄位說明要添加或更改的內容，使用 negative_prompt 避免不需要的特徵。resolution 控制設置模型的內部工作縮放；建議使用32的倍數。較高值可以增加全局細節，但可能需要更多 VRAM 和時間。
SetLatentNoiseMask (#126)#
應用噪音遮罩，以便新信號主要在您塗抹的區域內引入，實現本地編輯，同時強烈保留背景。將此與柔和的羽化遮罩配對以實現無縫過渡。未遮罩區域受到尊重，但不會在像素級凍結，因此邊緣附近可能會有微小的附帶變化。
GrowMaskWithBlur (#128)#
預處理您的遮罩以獲得乾淨的邊界。輕微擴展可以確保整個新對象在可編輯區域內，添加羽化可模糊邊緣以最小化接縫。如果精確度至關重要，請減少擴展和模糊；如果優先考慮混合，則可以適度增加。
KSamplerAdvanced (#193)#
運行去噪過程，以實現遮罩區域內的指令。調整步驟和採樣器以平衡速度和保真度，並設置種子以在迭代期間重現結果。較低的指導通常會更自然地融合插入，而較高的指導可以強化對文本的更強依從性。
ImageScaleToMaxDimension (#138)#
設置工作圖像的長邊，以在細節和計算成本之間取得良好平衡。較大值產生更清晰的插入，但增加內存使用量和渲染時間。先從中等開始，然後僅在需要更多細節時逐漸縮放。
ResizeMask (#148)#
調整修補遮罩的大小以精確匹配先前確定的模型工作尺寸。這種無位移對齊防止 "遮罩偏移" 偽影，並保持您塗抹的區域與圖像像素完美對齊。
可選附加功能#
- 保持指令簡潔具體：什麼、在哪裡、比例、透視、光照以及必須保留的元素。
- 設計遮罩時有小緩衝和柔和邊緣；包括完整的對象足跡和接觸陰影以實現真實的著地。
- 提供一到兩個原始場景參考，以提高構圖和色彩穩定性，尤其是在背景複雜的情況下。
- 使用32的倍數的分辨率；如果需要更多細節，請逐步增加，注意 VRAM 和時間。
- 鎖定種子以便在比較提示或遮罩調整時重現。
- 對於頑固的接縫，請使用更緊、更柔和的遮罩進行輕微的第二次通過，只覆蓋過渡區域。
這個無位移 ComfyUI 管道使 Qwen Image 2.1 修補在日常對象插入和本地替換中實用且可預測。通過對齊遮罩、遮罩潛在噪音和參考引導調節，您可以添加與場景的幾何和光線匹配的可信元素。
鳴謝#
此工作流程實現並基於以下作品和資源。我們由衷感謝 RunningHub 提供工作流程來源、Qwen 提供 Qwen-Image-2.1 模型，以及 Qwen 提供的官方本地編輯範例的貢獻和維護。欲了解權威詳細信息，請參考下列鏈接的原始文檔和存儲庫。
資源#
- RunningHub/Workflow source
- Docs / Release Notes: Workflow source
- Qwen/Qwen-Image-2.1
- GitHub: QwenLM/Qwen-Image-2.1
- Hugging Face: Qwen/Qwen-Image-2.1
- Qwen/Official local editing examples
- Docs / Release Notes: Official local editing examples
注意：使用所引用的模型、數據集和代碼受其作者和維護者提供的相應許可和條款的約束。