LayerDiffuse | 文本到透明图像

1. ComfyUI LayerDiffuse工作流概述

ComfyUI LayerDiffuse工作流集成了三个专门的子工作流:创建透明图像、从前景生成背景,以及相反过程即根据现有背景生成前景。每个LayerDiffuse子工作流都独立运行,为您提供灵活性,可以选择和激活满足您创作需求的特定LayerDiffuse功能。

1.1. 使用LayerDiffuse创建透明图像:

这个工作流允许直接创建透明图像,为您提供灵活性,可以生成有或没有指定Alpha通道蒙版的图像。

1.2. 使用LayerDiffuse从前景生成背景:

对于这个LayerDiffuse工作流,首先上传您的前景图像并制作一个描述性的提示。然后LayerDiffuse将这些元素混合以生成您想要的图像。在为LayerDiffuse起草提示时,关键是要详细描述完整的场景(例如,"停在路边的汽车")而不是仅仅描述背景元素(例如,"街道")。

1.3. 根据背景生成前景:

镜像先前的工作流,这个LayerDiffuse功能反转了焦点,旨在将前景元素与现有背景融合。因此,您需要上传背景图像并在提示中描述想象的最终图像,强调完整的场景(例如,"一只狗在街上行走")而不是单个元素(例如,"这只狗")。

更多LayerDiffuse工作流,请在github上查看

2. LayerDiffuse工作流的有效性

虽然创建透明图像的过程是稳健的,并且可靠地产生高质量的结果,但混合背景和前景的工作流更具实验性。它们可能并不总是能实现完美的融合,这表明这项技术具有创新性但仍在发展中。

3. LayerDiffuse的技术介绍

LayerDiffuse是一种创新方法,旨在使大规模预训练的潜在扩散模型能够生成具有透明度的图像。这种技术引入了"潜在透明度"的概念,它涉及将Alpha通道透明度直接编码到现有模型的潜在流形中。这允许创建透明图像或多个透明层,而不会显著改变预训练模型的原始潜在分布。目标是在保持这些模型的高质量输出的同时,增加生成具有透明度的图像的能力。

为了实现这一点,LayerDiffuse通过将透明度作为潜在偏移来调整其潜在空间,从而对预训练的潜在扩散模型进行微调。这个过程只涉及对模型的最小改动,保留了它的原始特性和性能。LayerDiffuse的训练利用了100万对透明图像层的数据集,通过人在回路方案收集,以确保各种透明度效果。

该方法已被证明可以适应各种开源图像生成器,并且可以集成到不同的条件控制系统中。这种多功能性允许广泛的应用,例如生成具有前景/背景特定透明度的图像,创建具有联合生成能力的图层,以及控制图层的结构内容。