Qwen 圖像編輯 for ComfyUI: 基於提示的照片編輯、替換和重新打光
此工作流程提供由 Qwen 系列驅動的快速可控圖像編輯。只需一個提示,您即可進行補畫、替換背景、插入或移除對象,並應用電影級重新打光,同時保留局部細節。Qwen 圖像編輯非常適合希望精確轉換而不需要與複雜節點圖搏鬥的藝術家和創作者。
圖表組織為簡單步驟:加載模型、上傳圖像、編寫提示,然後進行採樣和保存。它附帶可選的 Lightning LoRA,用於超快速的 4 步編輯,因此您可以快速迭代並鎖定所需的外觀。
Comfyui Qwen 圖像編輯工作流程的關鍵模型
- Qwen 圖像編輯擴散模型 用於指令引導編輯的核心圖像編輯 UNet。打包為
qwen_image_edit_fp8_e4m3fn.safetensors在 Comfy-Org/Qwen-Image-Edit_ComfyUI。 - Qwen 2.5 VL 7B 文本編碼器 解釋編輯指令並為模型設置條件的多模態文本編碼器。提供為
qwen_2.5_vl_7b_fp8_scaled.safetensors在 Comfy-Org/Qwen-Image_ComfyUI。 - Qwen 圖像 VAE 為 Qwen 圖像模型量身定制的潛變編解碼器,提升重建質量。分發為
qwen_image_vae.safetensors在 Comfy-Org/Qwen-Image_ComfyUI。 - Qwen-Image-Lightning LoRA(可選) 速度優化的 LoRA,能在僅 4 步中實現高質量編輯。可用作
Qwen-Image-Lightning-4steps-V1.0.safetensors在 lightx2v/Qwen-Image-Lightning。
如何使用 Comfyui Qwen 圖像編輯工作流程
步驟 1 – 加載模型
圖表使用 UNETLoader (#37) 加載編輯 UNet,使用 CLIPLoader (#38) 加載文本編碼器,並使用 VAELoader (#39) 加載潛變編解碼器。如果您想要更快速的迭代,切換可選的 LoraLoaderModelOnly (#89),將 Lightning LoRA 應用於基礎模型之上。ModelSamplingAuraFlow (#66) 和 CFGNorm (#75) 準備採樣器,以便 Qwen 圖像編輯模型能夠清晰地遵循提示而不過度加工細節。
步驟 2 – 上傳圖像進行編輯
使用 LoadImage (#78) 選擇您想修改的照片。圖像經過 ImageScaleToTotalPixels (#93) 處理,以保持分辨率在友好的質量範圍內,這有助於 Qwen 圖像編輯避免來自超大輸入的瑕疵。VAEEncode (#88) 將像素轉換為潛變編碼,以便在保留結構的同時進行高效編輯。
步驟 3 – 提示
在 TextEncodeQwenImageEdit (#76) 中撰寫您的指令作為正向指導。範例包括 “用日落城市景替換背景”, “移除後景中的人” 或 “左側柔和的金色鑰匙光”。當您需要避免更改時,使用第二個 TextEncodeQwenImageEdit (#77) 作為負向指導,例如 “不要改變主題的臉部” 或 “保持夾克的顏色”。兩個編碼器都會查看您上傳的圖像和 VAE,以便條件與內容對齊。
採樣和輸出
KSampler (#3) 使用補丁模型和您的條件執行編輯。如果啟用了 Lightning LoRA,您可以用很少的步驟收斂;否則,使用更多步驟以獲得最高保真度。編輯過的潛變編碼由 VAEDecode (#8) 解碼,並通過 SaveImage (#60) 寫入磁碟。
Comfyui Qwen 圖像編輯工作流程中的關鍵節點
TextEncodeQwenImageEdit (#76)
編碼驅動編輯的主要指令。偏好使用直接動詞,如 “替換”、 “插入”、 “移除”、 “重新著色” 和 “重新打光”。如果變更應該是局部的,明確命名區域或對象。保持提示簡潔;長串風格標籤很少需要。
TextEncodeQwenImageEdit (#77)
提供負向或保護性指導。用於告訴模型要避免什麼或保留關鍵屬性。良好的模式:“保持膚色”,“不改變構圖”,“忽略背景文字”。
LoraLoaderModelOnly (#89)
應用 Qwen-Image-Lightning LoRA 以進行快速迭代。當您需要接近即時的結果時打開它。當此 LoRA 啟用時,顯著減少採樣器步驟以保持清晰的編輯效果。
ImageScaleToTotalPixels (#93)
將超大輸入縮小至目標百萬像素預算以穩定質量。當源圖像非常大或含有重壓縮時使用它;它通常改善邊緣平滑度並減少光暈。
CFGNorm (#75)
標準化無分類指導行為,以便模型遵循提示而不推過多瑕疵。如果看到過度飽和或 “過度編輯”,稍微降低強度;如果編輯感覺膽怯,稍微提升一點。
KSampler (#3)
運行擴散循環。從適中的 fp8 步驟開始,僅在編輯不完整時增加。保持指導適度;非常高的值可能沖淡保留區域。當 Lightning LoRA 開啟時,使用很少的步驟以捕捉其速度優勢。
可選附加功能
- 清晰描述編輯。Qwen 圖像編輯對於簡短、可行的指令反應最佳,如 “讓天空變成陰天並添加雨水” 或 “將廣告牌文字更換為‘RunComfy’白色字體”。
- 對於背景替換,指定新場景和氛圍,例如 “用黃昏天際線替換背景,橙色薄霧,微弱的城市燈光”。
- 對於對象工作,結合動作和位置:“在主體的右手插入一把紅色雨傘”,或 “移除左邊的垃圾桶”。
- 對於重新打光,命名方向、質量和強度:“來自攝像機右側的柔和鑰匙光,微妙的輪廓光,暖色調”。
- 如果結果看起來過度加工,降低指導或禁用 LoRA;如果編輯過於微弱,略微增加步驟或加強指令。
致謝
此工作流程實施並建立在以下工作和資源之上。我們感謝 QwenLM 為 Qwen-Image-Edit,QwenLM 為 Qwen-Image,和 ComfyOrg 提供的 ComfyUI Native Workflow Example 的貢獻和維護。欲了解權威詳情,請參考下列鏈接的原始文檔和存儲庫。
資源
- Comfy/Qwen 圖像編輯參考
- GitHub: QwenLM/Qwen-Image
- Hugging Face: Qwen/Qwen-Image-Edit
- arXiv: Qwen-Image Technical Report
- Docs / Release Notes: Qwen-Image-Edit ComfyUI Native Workflow Example
注意:使用引用的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。
