JoyAI Image Edit ComfyUI | 智能 AI 照片編輯器

JoyAI Image Edit ComfyUI: 指令引導的圖像編輯，保留結構#

此工作流程直接在 ComfyUI 內部為單一參考圖像提供快速、指令引導的編輯。基於 JoyAI-Image-Edit 堆疊構建，它執行提示驅動的更改，如對象和顏色替換、空間調整以及清晰的文本渲染，同時保持源組成完好無損。JoyAI Image Edit ComfyUI 非常適合需要控制編輯而不需手動遮罩的設計師、產品團隊和創作者。

您提供一個圖像和一個簡短的指令，如“將盤子變藍”。工作流程將該請求路由通過 JoyAI Image Edit transformer、文本編碼器和 VAE，然後返回一個尊重佈局和內容邊界的編輯圖像。這是一個專注於可預測結果和重現性的緊湊、特定模型的 ComfyUI 設置。

Comfyui JoyAI Image Edit ComfyUI 工作流程中的關鍵模型#

• JoyAI-Image-Edit transformer。核心編輯模型，根據您的指令和參考圖像進行結構保留的更改。模型卡：jdopensource/JoyAI-Image-Edit。
• JoyAI-Image-Edit 文本編碼器和 tokenizer。將編輯指令編碼為 transformer 可遵循的嵌入。實施和使用位於 JoyAI Image 代碼庫中：jd-opensource/JoyAI-Image。
• VAE for JoyAI Image Edit。壓縮和重建圖像以進行編輯和解碼，有助於顏色保真度和細節保留。工作流程引用了一個與 JoyAI 堆疊捆綁的 Wan 2.1 VAE 檢查點。

如何使用 Comfyui JoyAI Image Edit ComfyUI 工作流程#

管道從左到右流動：加載源圖像，撰寫指令，加載 JoyAI 堆疊，運行編輯，然後保存。您不需要遮罩進行典型編輯，工作流程設計為可重現的結果。

• 準備源圖像
  • 使用 LoadImage (#6) 加載您的參考。使用乾淨、光線充足的圖像以獲得最佳效果，並保持主題合理居中。如果您想精確保留框架，請事先裁剪源，而不是稍後更改畫布大小。工作流程將此圖像直接傳遞到編輯階段，因此其結構錨定了結果。
• 撰寫編輯指令
  • 在 Prompt (#4) 中輸入您的請求，並可選擇性地在 Negative Prompt (#5) 中定義排除項。保持指令簡短、具體且可操作，例如“將杯子變紅”，“用日落替換天空”或“在筆記本上添加 JOYAI 文本”。負面提示有助於避免不需要的顏色、對象或風格。JoyAI Image Edit ComfyUI 尊重指令，同時保持與原始佈局的一致性。
• 加載 JoyAI 堆疊
  • 模型組件由 JoyAIImageEditTransformerLoader (#1)、JoyAIImageEditTextEncoderLoader (#2) 和 JoyAIImageEditVAELoader (#3) 加載。這些節點獲取 transformer 權重、文本編碼器加 tokenizer 和管理圖像編碼和解碼的 VAE。除非您要交換檢查點以獲得不同的外觀或行為，否則通常不需要更改這些。保持這三者一致可確保指令語義、幾何和顏色空間保持穩定。
• 運行編輯
  • JoyAIImageEditPipeline (#7) 將您的源圖像與指令嵌入融合以生成編輯結果。管道在指令強度與結構保真度之間取得平衡，以便對象保持在它們應在的位置，同時它們的屬性按要求更改。使用固定種子以實現可重現性，或更換種子以探索變化。如果您需要更清晰的字母或精細的邊緣，請在保持圖像大小合理的情況下提高採樣器中的質量設置。
• 保存和審查
  • SaveImage (#8) 寫入編輯輸出。使用版本化名稱進行並排比較，並將種子保存在文件名或筆記中，以便您可以重現喜愛的結果。迭代時，每次只調整一個控制，以便看到明確的原因和結果。

Comfyui JoyAI Image Edit ComfyUI 工作流程中的關鍵節點#

• JoyAIImageEditPipeline (#7)
  • 中心協調器，使用 JoyAI transformer、文本編碼器和 VAE 將指令應用於參考圖像。首先調整 prompt 和 negative_prompt。使用固定 seed 進行確定性重跑，然後變更它以探索替代方案。平衡指令強度和採樣質量，以速度換取保真度，並保持輸出尺寸接近源的長寬比，以保留佈局。
• JoyAIImageEditTransformerLoader (#1)
  • 加載 JoyAI-Image-Edit transformer 檢查點，決定編輯如何強烈且清晰地遵循您的文本。更換此權重可以顯著改變風格和響應性。將 transformer 和文本編碼器配對，來自相同的發行系列，以避免嵌入不匹配。
• JoyAIImageEditTextEncoderLoader (#2)
  • 提供將您的指令翻譯成模型可讀嵌入的文本編碼器和 tokenizer。清晰、簡潔的措辭提高嵌入質量。精確設置可能影響 VRAM 使用和速度，因此選擇適合您硬件和批量大小的模式。
• JoyAIImageEditVAELoader (#3)
  • 加載管理圖像在編輯過程中如何編碼和解碼的 VAE。不同的 VAE 可以微妙地改變顏色和對比，因此在評估提示時保持一致。如果更改 VAE，請重新調整您的提示以重新平衡顏色措辭。

可選附加功能#

• 提示製作
  • 優先選擇單一、清晰的操作，如“將盤子變藍”而不是多步驟段落。準確命名可見對象，並在編輯屬性時使用單數名詞。對於空間編輯，使用介詞如“在桌子上”，“在背景中”或“在牆上”來固定請求。
• 分辨率和構圖
  • 保持源長寬比以維持幾何形狀。如果需要更大的交付物，請在編輯後升級，而不是推動極端的編輯分辨率。
• 可重現性
  • 比較提示變化時保持固定的種子，然後在滿意後解鎖種子以取樣替代方案。
• 參考和來源
  • 模型卡和權重：jdopensource/JoyAI-Image-Edit
  • 實施細節和更新：jd-opensource/JoyAI-Image
  • 本項目使用的 ComfyUI 圖形模板：joyai_image_comfyui

致謝#

此工作流程實施並基於以下作品和資源。我們誠摯感謝 jd-opensource 的 JoyAI-Image 資源庫，jd-opensource 的 JoyAI-Image ComfyUI 工作流程，以及 jdopensource 的 JoyAI-Image-Edit 模型對其貢獻和維護。欲了解權威詳情，請參閱以下鏈接的原始文檔和資源庫。

資源#

• jd-opensource/JoyAI-Image
  • GitHub: jd-opensource/JoyAI-Image
• jd-opensource/joyai_image_comfyui
  • GitHub: jd-opensource/JoyAI-Image
• jdopensource/JoyAI-Image-Edit
  • Hugging Face: jdopensource/JoyAI-Image-Edit

注意：所引用的模型、數據集和代碼的使用受其作者和維護者提供的相應許可和條款的約束。