Wan 2.1 控制 LoRA | 深度和瓦片
Wan 2.1 控制 LoRA 为 Wan 2.1 视频模型提供了一个基于深度和瓦片的控制系统,是 ControlNet 的轻量级替代方案。这些 LoRAs 类似于 Flux 工具,无缝集成到视频生成工作流中。与传统的 ControlNet 实现不同,它们效率极高,所需推理成本极低,并且训练难度显著降低。通过沿输入通道维度连接控制特征并应用 LoRA 训练,这些模型自动优化控制信号,确保结构准确性和艺术一致性。包含的 ComfyUI 工作流示例展示了它们在 AI 视频生成中的潜力。ComfyUI Wan 2.1 Control LoRA 工作流程
ComfyUI Wan 2.1 Control LoRA 示例
ComfyUI Wan 2.1 Control LoRA 描述
Wan 2.1 控制 LoRA:高效视频生成
Wan 2.1 控制 LoRA 引入了一种轻量且高效的视频生成方法,为传统的 ControlNet 方法提供了一个替代方案。专为 Wan 2.1 模型设计,这些基于深度和瓦片的 LoRAs 允许用户在不增加推理成本的情况下引导 Wan 2.1 视频结构和细节。与可能资源密集且训练复杂的 ControlNet 不同,这种控制 LoRA 无缝集成到 Wan 2.1 中,确保输出精确优化,计算成本最低。
如何使用 Wan 2.1 控制 LoRA 工作流?
在使用深度和瓦片 LoRAs 与 Wan 2.1 时,Wan 2.1 工作流中的节点已为清晰起见进行了组织。
- Wan 2.1 深度 Controlnet 视频组
- 放大 - 瓦片 Controlnet 组
取消静音您想使用的组并上传您想要的视频。 输入您的正面文本,如果需要,调整 Wan 2.1 视频设置,如两组的持续时间和分辨率。
所有渲染的 Wan 2.1 控制 LoRA 视频将保存在 ComfyUI 的输出文件夹中。
1 - 深度控制 LoRA 视频组
此深度控制 LoRA 组用于从视频片段中提取深度信息,以增强 Wan 2.1 视频生成。它提供了一个更结构化和深度感知的传统 ControlNet 方法替代方案,帮助您创建更连贯和视觉一致的 Wan 2.1 输出。
如果它被静音,请取消静音。
要使用它,请上传视频并根据您硬件的限制和项目需求调整分辨率和长度。更高的分辨率可以捕捉更详细的深度,但可能会增加处理时间和 VRAM 使用。较短的视频片段将运行得更快。测试不同设置以找到质量和性能之间的最佳平衡,以适应您的 Wan 2.1 工作流。
2 - 放大 - 瓦片控制 LoRA 组
这是您的瓦片 LoRA 使用组,旨在放大视频同时保留细节和一致性。通过利用 Wan 2.1 的瓦片控制 LoRA 方法,您可以在不显著性能损失的情况下高效提升视频分辨率。确保您的输入视频低于 1K 分辨率,因为工作流支持放大至 1.5K。然而,当处理较长视频或使用 VRAM 限制的 GPU 时,要注意潜在的内存不足崩溃。根据需要调整设置以实现质量和系统性能之间的最佳平衡。
如果组被静音,请取消静音。
上传您的视频以使用瓦片控制 LoRA 进行放大,该方法在提升分辨率的同时保持 Wan 2.1 输出的视觉一致性和细节。输入视频应低于 1K 分辨率,因为工作流允许放大至 1.5K。然而,尤其是在处理较长视频或 VRAM 有限的情况下,要小心潜在的内存不足崩溃。根据需要调整设置以平衡质量和性能,以获得 Wan 2.1 的最佳结果。
模型下载链接
Wan 2.1 的控制 LoRA 模型可以在工作流的启动机器上使用,但如果需要离线使用,这里是必要的链接:
请允许 3-5 分钟让自动下载完成到您机器的临时存储中。
Wan 2.1 控制 LoRA 的好处
通过 Wan 2.1 控制 LoRA,用户可以在保持高效且精简的工作流的同时增强视频的一致性和结构。这些专业 LoRAs 的轻量特性使其非常适合 AI 驱动的动画、Wan 2.1 的电影视频项目以及无需传统控制系统缺点的创意实验。通过利用控制 LoRAs,创作者可以在保持低处理时间和高质量结果的同时,对其 Wan 2.1 视频输出进行更大的控制。