FireRed Image Edit 1.1: 在 ComfyUI 中進行快速、基於指令的圖像編輯
FireRed Image Edit 1.1 是一個針對目標的基於指令的圖像編輯的 ComfyUI 工作流程。給它一張來源圖像和一個自然語言指令,它將在保持構圖和身份的同時進行精確的更改。它由 FireRed Image Edit 1.1 擴散變壓器驅動,並由 Qwen2.5-VL 7B 視覺語言編碼器引導,因此您的編輯會遵循圖像顯示的內容和提示的意圖。
該工作流程還包括一個 Lightning LoRA 渦輪模式,大幅減少推斷步驟以進行快速迭代。當您需要可控的高保真編輯來進行服裝更換、風格轉換、場景調整或微妙的細節修飾時,使用 FireRed Image Edit 1.1,直接在 ComfyUI 中進行。
Comfyui FireRed Image Edit 1.1 工作流程中的關鍵模型
- FireRed Image Edit 1.1 擴散變壓器。專門用於遵循指令的圖像編輯的核心生成器;它基於您的提示和來源圖像進行調節,以保持佈局和身份。Model card
- FireRed Image Edit 1.0 Lightning LoRA (8-step)。一個輕量級加速適配器,可啟用渦輪模式,減少採樣步驟以進行快速預覽,並具有強大的編輯遵從性。Model card
- Qwen2.5-VL 7B。此處用作編碼器的多模態視覺語言模型,用於解釋您的指令與圖像內容,產生強大的條件以進行編輯控制。Model card
- Qwen Image VAE。用於將來源圖像編碼為潛在空間以進行編輯並將最終結果解碼回像素的圖像自編碼器。包含在 FireRed 1.0 資產中。Files
如何使用 Comfyui FireRed Image Edit 1.1 工作流程
概覽中,工作流程從加載您的來源圖像開始,將其編碼為潛在空間,使用 Qwen2.5-VL 7B 從您的指令中構建條件,然後通過採樣器運行 FireRed Image Edit 1.1 以生成編輯圖像。單一渦輪切換控制 Lightning LoRA 是否啟用,這也會切換步驟數量和指導強度以提高速度或質量。
模型
此組加載 FireRed Image Edit 1.1 擴散變壓器,並可選擇性地注入 Lightning LoRA。啟用渦輪時,LoRA 被應用於基礎模型以加速採樣。模型採樣節點配置了一個專為 FireRed 變壓器量身定制的調度,以確保編輯穩定。然後,指導正規化步驟準備模型以在提示間實現一致的條件。
提示
這是您撰寫驅動 FireRed Image Edit 1.1 的指令的地方。Qwen2.5-VL 7B 編碼器會同時讀取來源圖像和您的文本,以理解現有內容和需要更改的內容。您可以選擇最多添加兩張參考圖像以引導風格、服裝、光照或其他屬性。工作流程還包括一個伴隨的編碼器路徑,作為負面或平衡通道,以保持輸出清晰和目標。
圖像編碼
您的來源圖像會自動調整為對模型友好的分辨率,然後編碼到 VAE 潛在空間。此潛在空間成為圖像到圖像編輯的起點,允許 FireRed Image Edit 1.1 保持構圖、相機幾何和身份。編碼的潛在空間直接流向採樣器,應用編輯。
步驟設置
此組根據渦輪切換切換採樣器步驟數。啟用渦輪時,步驟保持最小以進行快速預覽;關閉渦輪時,使用更高的步驟數以獲得最大保真度。使用渦輪快速探索方向,然後禁用它以獲得最終的最高質量渲染。
CFG 設置
同一渦輪切換還切換分類器自由指導強度。較低的指導值與渦輪模式配對,以在較少步驟下保持編輯穩定,而較高的值則與完整模型一起使用,以增強提示遵從性。工作流程會自動連接此功能,以便您專注於指令而不是微觀管理參數。
採樣器設置
採樣器將修補的 FireRed 模型、您的正面和負面條件以及編碼的潛在空間結合在一起,以生成編輯圖像。您可以設置一個種子以使結果可重複,或變更它以探索替代方案。解碼的圖像會保存到您的輸出文件夾中,並帶有清晰的前綴,以便您輕鬆批量和比較迭代。
Comfyui FireRed Image Edit 1.1 工作流程中的關鍵節點
TextEncodeQwenImageEditPlus (Positive) (#118)
此節點將您的自然語言編輯指令和一到三張圖像轉化為 FireRed Image Edit 1.1 的條件。使用簡明的指令性措辭,如 "將夾克改為紅色皮革並配有銀色拉鍊" 或 "轉換為水彩風格,邊緣柔和"。可選的 image2 和 image3 可以鎖定風格、服裝或光照參考;保持它們與您的目標視覺一致。如果編輯過於強烈,減少描述強度或添加澄清約束。
Enable Lightning LoRA? (#153)
此切換啟用 Lightning LoRA 渦輪路徑。啟用時,工作流程將模型切換到 LoRA 增強版本,將採樣從約 40 步減少到大約 8 步,並降低指導以保持結果在高速下的穩定性。用於快速迭代提示和參考,然後關閉以獲得最終的最高質量輸出。
LoraLoaderModelOnly (#151)
此節點將 FireRed Image Edit 1.0 Lightning LoRA 注入到基礎 FireRed Image Edit 1.1 模型中。如果您調整 LoRA 強度,請記住更高的值會增加編輯強度,但可能會過度偏離風格或引入偽影。對於身份關鍵的編輯,保持強度適中,並依靠更清晰的指令或額外的參考圖像,而不是過度推動 LoRA。
KSampler (#130)
採樣器是編輯強度、指導和步驟的綜合體。關閉渦輪時,增加 steps 可改善細節並減少小偽影;開啟渦輪時,保持步驟低以提高速度,並依賴提示的清晰性和參考。謹慎調整 cfg:較高的值強調指令,而較低的值則優先保持對來源圖像的保真度。對於大的場景更改,提高 cfg 並考慮更多步驟;對於細微的調整,降低 cfg 和較少的步驟保持身份。
可選附加
- 將編輯寫成清晰的指令,而不是整個圖像的完整描述。“將 T 恤替換為海軍藍色西裝外套;保持姿勢和光照”優於冗長的敘述。
- 使用可選的
image2和image3輸入來錨定風格或服裝細節。匹配相機角度和構圖以獲得最佳轉移。 - 開啟渦輪以探索想法,然後禁用渦輪以完成。由於步驟數增加和指導力增強,預期會有些許不同。
- 為了最大限度地保持身份,保持
cfg保守,使用短而具體的指令,並在可能時提供匹配度高的參考圖像。 - 一旦您喜歡方向,保存一個固定的種子,以便您可以在不同的運行中僅測試指令或參考圖像。
資源
- FireRed Image Edit 1.1 模型:FireRedTeam/FireRed-Image-Edit-1.1-ComfyUI
- Lightning LoRA 和 VAE 資產:FireRedTeam/FireRed-Image-Edit-1.0-ComfyUI
- Qwen2.5-VL 7B 編碼器:Qwen/Qwen2.5-VL-7B-Instruct
- ComfyUI 項目(節點參考):comfy-org/ComfyUI
致謝
此工作流程實現並建立在以下作品和資源的基礎上。我們對 FireRedTeam 的 FireRed Image Edit 1.1 擴散模型、FireRedTeam 的 FireRed Image Edit 1.0 Lightning LoRA 和 Comfy.org 的 Comfy.org 官方工作流程的貢獻和維護表示感謝。有關權威詳細信息,請參閱以下鏈接的原始文檔和存儲庫。
資源
- FireRedTeam/FireRed Image Edit 1.1 Diffusion Model
- GitHub: FireRedTeam/FireRed-Image-Edit
- Hugging Face: FireRedTeam/FireRed-Image-Edit-1.1-ComfyUI
- arXiv: 2602.13344
- FireRedTeam/FireRed Image Edit 1.0 Lightning LoRA
- GitHub: FireRedTeam/FireRed-Image-Edit
- Hugging Face: FireRedTeam/FireRed-Image-Edit-1.0-ComfyUI
- arXiv: 2602.13344
- Comfy.org/Comfy.org Official Workflow
- GitHub: Comfy-Org/workflow_templates
- Docs / Release Notes: FireRed Image Edit 1.1: Image Edit
注意:使用所引用的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。
