Krea 2 Turbo 修补 ComfyUI 工作流程 (LanPaint + 差分扩散)#
此 Krea 2 Turbo 修补 ComfyUI 工作流程将 Krea‑2 Turbo 转变为用于对象替换和目标修复的精确局部编辑器。它结合了 LanPaint 的无训练采样器与遮罩噪声注入、差分扩散、基于 SAM 的自动遮罩和裁剪拼接合成,仅再生您选择的部分,同时保留其他所有内容。27 节点、RunComfy 准备好的图形已端到端验证;在测试中,它干净地将表盘替换为白色机械蝴蝶,同时保留了表壳、指针和照明。
专为需要可靠局部编辑的艺术家、产品摄影师和修图师打造,该工作流程接受手绘遮罩或自动遮罩,针对裁剪区域进行专注的生成,通过无缝边缘将结果拼接回去。结果快速、可控,并与原始照片在视觉上保持一致。
Krea 2 Turbo 修补 ComfyUI 工作流程中的关键模型#
- Krea‑2 Turbo。扩散主干,在遮罩区域内合成新内容。官方模型卡:Krea‑2 Turbo on Hugging Face。项目仓库:krea‑ai/krea‑2。
- Qwen Image VAE。用于在像素空间和进行遮罩采样的潜在空间之间移动的自动编码器。与 Krea‑2 资产一起分发:Comfy‑Org/Krea‑2。
- Qwen‑VL 文本编码器。将您的提示转化为 Krea‑2 Turbo 的条件;随 Krea‑2 栈一起提供。参考实现:QwenLM/Qwen2‑VL。
如何使用 Krea 2 Turbo 修补 ComfyUI 工作流程#
在高层次上,您提供输入图像和遮罩。图形裁剪感兴趣区域并带有一些上下文,准备潜在变量以便仅遮罩区域被噪声化,然后运行一次 LanPaint 采样以再生目标。最后,它调整大小并将补丁拼接回原始画布,并提供可选的放大和并排比较。
模型#
此组加载扩散主干、VAE 和文本编码器。UNETLoader (#412) 引入 Krea‑2 Turbo,VAELoader (#435) 提供 Qwen Image VAE,CLIPLoader (#413) 设置与 Krea‑2 一起提供的提示编码器。通常不需要更改此处的任何内容,除非您想更换模型变体。
提示#
CLIPTextEncode (#411) 是您编写要在遮罩中生成的内容的地方。保持编辑指令对对象和风格的具体描述,并明确告知模型保留未遮罩的内容。ConditioningZeroOut (#414) 提供干净的负路径,使采样器专注于您的正面指令。
裁剪+调整大小#
将源图像输入到 LoadImage (#200)。通过直接在输入上绘制或使用 SAM3Segment (#454) 从图像内容自动提议遮罩来提供遮罩。Switch mask [Crystools] (#453) 让您选择手动或自动。CropByMask (#449) 隔离选定区域,捕捉裁剪坐标以便稍后拼接。ImageResizeKJv2 (#448) 将裁剪对齐到生成器友好的分辨率,GrowMaskWithBlur (#452) 软扩展和羽化遮罩,使边缘在编辑后自然融合。
图像生成#
VAEEncode (#436) 将裁剪图像转换为潜在变量。SetLatentNoiseMask (#430) 仅在遮罩内注入噪声,以便未遮罩的潜在变量仍然锚定在原始图像上。DifferentialDiffusionAdvanced (#447) 进一步限制更新到遮罩,减少周围像素的漂移。LanPaint_KSampler (#440) 执行基于提示的无训练遮罩采样,生成再生的潜在补丁。VAEDecode (#439) 将结果带回像素以进行检查和下游步骤。
拼接#
解码后,ImageResizeKJv2 (#488) 使用保存的宽度/高度将编辑后的补丁与原始图像尺寸匹配,第二个 GrowMaskWithBlur (#491) 准备边缘友好的合成遮罩。ImageCompositeMasked (#487) 在之前的确切 x/y 裁剪位置拼接补丁,保留全局构图、照明和颜色。使用包含的 Image Comparer (rgthree) (#456) 在前后滑动进行质量控制。
放大(可选)#
如果结果看起来很棒并且您想要更高的细节,请将合成输出发送到 CR Upscale Image (#485)。这将放大最终图像而无需重新扩散,这更快并保持您的构图稳定。提供第二个比较器 (#480) 以检查锐度增益。
Krea 2 Turbo 修补 ComfyUI 工作流程中的关键节点#
LanPaint_KSampler(#440)。核心无训练修补步骤,重新利用文本到图像模型进行局部编辑而无需微调。它仅在遮罩允许的地方采样,由您的正面条件引导。为了更强的依从性,提高采样努力;为了更紧密的照片现实主义,偏向保守降噪。实现:scraed/LanPaint,论文:LanPaint (arXiv)。SetLatentNoiseMask(#430)。确保噪声仅在潜在空间的遮罩内应用,以便背景潜在变量保持锁定到原始图像。如果您看到目标外的意外更改,请重审此步骤并确认您的遮罩仅覆盖应更改的内容。DifferentialDiffusionAdvanced(#447)。限制更新步骤,以便未遮罩区域抵抗漂移。当边缘附近出现小光晕或色调变化时,将其调整为更强的保存,以便在遮罩区域演变时,上下文保持忠实。GrowMaskWithBlur(#452)。扩展和羽化遮罩以捕捉对象周围的接触阴影和相互反射。如果接缝可见,稍微增加并添加一点模糊;如果编辑溢出太远,减少增长。CropByMask(#449)。裁剪感兴趣区域并记录裁剪起始位置。这保持生成快速和专注,并驱动稍后精确放置。如果编辑缺乏足够的上下文,添加一点更多的填充,以便模型可以看到相邻的表面和照明线索。ImageCompositeMasked(#487)。通过使用保存的坐标将编辑后的补丁放回其原始位置来重建完整画布。如果您注意到边缘柔软或未对齐,确认裁剪起始位置以及拼接遮罩与生成阶段的扩展遮罩相匹配。SAM3Segment(#454)。从输入图像生成自动分割遮罩。它对于快速启动很方便;如有需要,用画笔进行细化,以收紧棘手边界(如头发、辐条或雕饰)周围的选择。
可选额外功能#
- 精心设计锚定场景的提示。准确描述替换对象,然后明确告知模型保留所有未遮罩的细节和原始照明、相机角度和比例。
- 从比对象稍大的遮罩开始,以捕捉接触阴影和反射;然后微调增长和模糊以实现无缝边缘。
- 如果补丁看起来“太新”或不合适,减少采样器的攻击性或加强差分扩散,以便保留更多原始微纹理。
- 在迭代过程中使用包含的前后比较器,并且只有在对构图和现实感满意后才放大。
- 为了在多次运行中获得最佳重复性,在您优化遮罩边界、提示措辞和裁剪填充时保持相同的种子。
参考和致谢:Krea‑2 Turbo 模型卡 Hugging Face,项目仓库 krea‑ai/krea‑2;LanPaint 实现 GitHub 和论文 arXiv。
致谢#
此工作流程实现并基于以下作品和资源。我们诚挚感谢 Krea AI 的 Krea 2 项目和 Krea 2 Turbo 模型,scraed 的 LanPaint ComfyUI 扩展,以及 LanPaint 作者的 LanPaint 论文的贡献和维护。有关权威细节,请参阅下文链接的原始文档和存储库。
资源#
- Altruistic_Tax1317/Krea2 修补工作流程
- 文档 / 发布说明:Reddit 线程
- Krea AI/Krea 2
- GitHub: krea-ai/krea-2
- Hugging Face: krea/Krea-2-Raw, krea/Krea-2-Turbo
- Krea/Krea-2-Turbo
- GitHub: krea-ai/krea-2
- Hugging Face: krea/Krea-2-Turbo
- scraed/LanPaint
- GitHub: scraed/LanPaint
- arXiv: arXiv:2502.03491
- LanPaint 作者/LanPaint (论文)
- arXiv: arXiv:2502.03491
注意:使用参考的模型、数据集和代码需遵循其作者和维护者提供的各自许可证和条款。





