SkyReels-A2 | 多元素视频生成
SkyReels-A2 是一个强大的元素到视频(E2V)工作流,允许您将多个参考图像组合成动态、逼真的视频。此解决方案在确保自然合成和运动的同时,保留每个元素的视觉完整性。非常适合创建虚拟产品演示、角色动画或多主体场景,此工作流通过视觉参考和文本提示为您提供视频生成的精确控制。ComfyUI SkyReels-A2 工作流程
ComfyUI SkyReels-A2 示例
ComfyUI SkyReels-A2 描述
SkyReels-A2: 先进的元素到视频技术
1. ComfyUI SkyReels-A2 工作流是什么?
SkyReels-A2 是一种先进的元素到视频(E2V)工作流,将多个参考图像结合成流畅、动态生成的视频。由 Skywork AI 开发,此 SkyReels-A2 技术使您能够在保持每个元素的身份和视觉保真度的同时集成角色、对象和背景。与传统的图像到视频方法不同,SkyReels-A2 专门解决了在创建自然交互的同时保持每个元素参考保真度的挑战,适合虚拟产品演示、角色动画和复杂场景合成,并通过 SkyReels-A2 ComfyUI 集成。
2. ComfyUI SkyReels-A2 的优势:
- SkyReels-A2 的多元素集成: 将三种不同的参考元素(人、对象/另一个人和场景)结合成一个统一的视频。
- 身份保留: SkyReels-A2 在创建自然运动和交互的同时保持对参考图像的高度保真。
- 灵活的合成: 通过描述它们与 SkyReels-A2 系统交互的文本提示控制元素之间的关系。
- 分辨率控制: 此 SkyReels-A2 工作流允许您根据不同场景类型调整输入图像分辨率。
- 背景去除: 自动将主体与背景隔离以获得更好的合成效果。
- 精确的填充控制: 通过 SkyReels-A2 中的数学填充计算微调元素的放置和突出显示。
- 无缝集成: 兼容 WAN2.1 视频生成技术以获得高质量的 SkyReels-A2 结果。
3. 如何使用 ComfyUI SkyReels-A2 工作流
3.1 SkyReels-A2 图像准备过程
SkyReels-A2 的元素图像准备:
SkyReels-A2 工作流 有三个主要图像组:
SkyReels-A2 中的 Subject1Image: 主体角色/人物
- 在 "Subject1Image" 组中加载您的图像
- 使用 Mask Bounding Box 节点获得最佳框架
- 应用简单数学进行填充计算(a-40)
- 调整为 640×480 或 832×480(取决于场景类型)
- 使用 ImageCompositeMasked 将主体放置在干净背景上
SkyReels-A2 中的 Subject2Image: 对象或次要角色/人物
- 在 "Subject2Image" 组中加载您的图像
- 使用 Mask Bounding Box 节点获得最佳框架
- 应用简单数学进行填充计算(a-40)
- 使用 ImageCompositeMasked 放置在干净背景上
- 调整以匹配您的主体图像的分辨率
重要: 对于较小的对象,如笔、刷子或手持物品,在 Resize Image 节点中调整宽度参数为较低值(10-20),同时保持 keep_proportion 设置为 true。这可以控制对象在最终合成中的相对大小,并防止对象在角色手中显得不自然地大。
SkyReels-A2 的 BackgroundImage: 环境
- 在 "BackgroundImage" 组中加载您的图像
- 调整为您选择的分辨率(640×480 或 832×480)
- 应用中心裁剪以保持纵横比
- 使用较高的 divisible_by 值(16)以确保与 SkyReels-A2 的兼容性
3.2 SkyReels-A2 元素合成过程
SkyReels-A2 批量组装:
- 将 ImageBatchRepeatInterleaving 设置为 4 次重复
- 确保所有图像保持相同的分辨率和纵横比,以实现最佳的 SkyReels-A2 处理
3.3 SkyReels-A2 视频生成设置
SkyReels-A2 文本编码:
- 配置您的提示以描述元素之间的关系
- 确保提到所有三个元素
3.4 SkyReels-A2 分辨率指南
对于 SkyReels-A2 的特写肖像:
- 使用 640×480 分辨率
- 将填充调整为四周 20px(a-40 公式)
对于 SkyReels-A2 的全身镜头:
- 使用 832×480 分辨率
- 调整填充以保持适当的框架
对于 SkyReels-A2 的多主体:
- 试验不同的填充值以控制元素的突出显示
4. SkyReels-A2 E2V 技术的技术解释
SkyReels-A2 工作流 使用双分支编码方法:
- SkyReels-A2 的一般特征编码: CLIP Vision Encoder 提取类似于文本提示的标记表示
- SkyReels-A2 的空间特征编码: 3D VAE Encoder 捕捉每个元素的详细空间特征
这些编码与描述元素之间所需关系的文本提示相结合。
5. SkyReels-A2 性能优化
SkyReels-A2 VRAM 管理:
- SkyReels-A2 工作流中的备注警告说,批量大小为 10 很容易导致内存不足错误
- 对于测试,使用 33 帧;对于最终 SkyReels-A2 生产,增加数量
SkyReels-A2 优化节点:
- Use_jit: true(用于 SkyReels-A2 中的背景去除节点)
- WanVideo TECache: 启用,latent_scale_factor: 0.25
- WanVideo VRAM 管理:offload_percent: 1.00
- 启用 use_non_blocking 选项以提高 SkyReels-A2 的内存效率
致谢
此工作流基于 Skywork AI 研究团队开发的 SkyReels-A2 模型。原始模型和研究可在 获得。ComfyUI 的 SkyReels-A2 实现由 提供。所有功劳归功于原作者在视频扩散变换器和 SkyReels-A2 元素到视频技术方面的创新工作。