FramePack 封装器 | 高效长视频生成
更新于 2025/6/16:ComfyUI 版本更新至 v0.3.39,以提高稳定性和兼容性,并安装了 SageAttn,以实现 30% 的更快生成。ComfyUI 的 FramePack 工作流将斯坦福大学的革命性视频生成技术引入 RunComfy。FramePack 使您能够创建专业质量的视频,长度达到 60+ 秒,且从头到尾保持一致的 30 FPS 质量。它通过其独特的双向采样方法解决了视频生成中的两个关键问题:"遗忘"(早期内容的记忆衰退)和"漂移"(随时间质量下降)。生成数千帧而没有常见的质量下降问题——同时使用最少的云资源!ComfyUI FramePack 工作流程
ComfyUI FramePack 示例
ComfyUI FramePack 描述
ComfyUI FramePack 封装器描述
1. 什么是 ComfyUI FramePack 封装器?
ComfyUI FramePack 封装器将斯坦福大学的先进 FramePack 技术集成到 ComfyUI 环境中。FramePack 建立在创新的帧上下文打包技术上,使得在最低计算资源下实现高效和高质量的长视频生成成为可能。FramePack 技术允许您使用即便是 6GB 笔记本 GPU 这样的普通 GPU 配置,以完整的 30fps 生成数千帧,使专业视频创作对每个人都可访问。FramePack 独特的视频生成方法如同图像扩散,但提供了卓越的视频效果。
2. ComfyUI FramePack 封装器的优势:
- 高效的资源使用: FramePack 在较小的云机器上生成视频,GPU 内存需求最小
- O(1) 计算复杂度: FramePack 保持恒定的处理速度,无论视频长度如何
- 防漂移技术: FramePack 解决了随时间推移视频质量下降的常见问题
- 长视频的一致质量: FramePack 即便是 30-60+ 秒的视频,也能保持较高的视觉质量,而没有其他视频生成模型中的常见劣化
- 无时间步蒸馏: FramePack 在保持效率的同时保存质量
3. 如何使用 ComfyUI FramePack 封装器
3.1 使用 ComfyUI FramePack 的生成方法
FramePack 的示例设置:
- 准备输入:
- 在
Load Image
节点中:上传将被动画化为视频的参考图像
- 在
- 配置关键参数:
- 在
FramePackSampler
中:设置视频长度(例如 5.0 秒) - 在
Video Combine
中:设置帧率(例如 30)和输出格式(例如 video/h264-mp4)
- 在
- 点击
run
按钮运行 FramePack 工作流 - 生成的 FramePack 视频将根据您在
Video Combine
节点中的设置保存
3.2 ComfyUI FramePack 的参数参考
FramePackSampler 节点:
steps
:扩散步骤数(例如 30)- 较高的值产生更好的质量,但在 FramePack 中需要更长时间guidance_scale
:FramePack 中的额外指导强度(例如 10.00)- 较高的值更严格地遵循提示seed
:FramePack 中可重复结果的随机种子(例如 47)total_second_length
:FramePack 中生成的视频时长(例如 5.0 秒)control_after_generate
:FramePack 中控制防漂移采样方法(保持为 "fixed" 以获得最佳结果)
Video Combine 节点:
frame_rate
:FramePack 视频输出的每秒帧数(例如 30)crf
:压缩质量因子(例如 19)- 较低的值 = 更高质量的 FramePack 视频
3.3 使用 ComfyUI FramePack 的高级优化
使用 FramePack 生成更长的视频: FramePack 的一大优势是能够高效生成长视频。要创建更长的视频:
- 在 FramePackSampler 节点中增加
total_second_length
参数(例如,从 5.0 增加到 10.0、30.0,甚至 60.0+) - 保持
control_after_generate
设置为 "fixed" 以利用 FramePack 的高级防漂移采样技术 - 当生成超过 10 秒的视频时,考虑稍微增加
gpu_memory_preservation
值以管理内存使用 - 对于非常长的视频(30+ 秒),可能需要减少
latent_window_size
参数 - FramePack 的 O(1) 计算复杂度确保无论视频长度如何,生成速度一致
- 编写时间提示: 对于较长的视频,包含 "gradually," "slowly," "then" 等词来引导时间流动并描述元素如何随时间变化
调整视频分辨率: 要更改输出 FramePack 视频的分辨率,请调整工作流中的 "Resize Image" 节点:
- 修改
width
和height
参数以设置所需的 FramePack 视频尺寸 - 建议将尺寸设置为 8 的倍数以获得最佳 FramePack 结果
- 注意:更高的分辨率将需要更多的 GPU 内存和处理时间
- 对于较大的分辨率,可能需要调整
gpu_memory_preservation
参数以平衡内存使用
FramePack 提示技巧:
- 在提示中对运动和过渡进行详细描述,以获得更好的 FramePack 结果
- 包含描述 FramePack 中所需运动的特定动作动词
- 为获得最佳效果,描述场景以及元素在 FramePack 视频中应如何移动/变化
关于 FramePack 的更多信息
FramePack 技术使用创新的双向采样方法,打破传统因果关系限制,以防止在较长视频中质量下降。特别是对于图像到视频的生成,FramePack 采用 "反向防漂移采样",在整个生成过程中将第一帧视为逼近目标,确保即便是长达 60 秒或更多(1800+ 帧)的视频也能获得高质量结果。
有关更多详细信息和 FramePack 模型下载:
- FramePack 原始研究由
- ComfyUI FramePack 封装器实现由
致谢
此工作流由 FramePack 提供支持,由 Lvmin Zhang 和 Maneesh Agrawala 在 Stanford University 开发。ComfyUI FramePack 封装器 由 kijai 提供,包括定制的工作流和集成,使得使用 FramePack 技术的高效长视频生成成为可能。全体功劳归于原作者对 FramePack 的开创性研究工作。
想要更多 ComfyUI 工作流吗?
RunComfy 是首选的 ComfyUI 平台,提供 ComfyUI 在线 环境和服务,以及 ComfyUI 工作流 具有惊艳的视觉效果。 RunComfy还提供 AI Playground, 帮助艺术家利用最新的AI工具创作出令人惊叹的艺术作品。