ComfyUI  >  工作流  >  FramePack 封装器 | 高效长视频生成

FramePack 封装器 | 高效长视频生成

更新于 2025/6/16:ComfyUI 版本更新至 v0.3.39,以提高稳定性和兼容性,并安装了 SageAttn,以实现 30% 的更快生成。ComfyUI 的 FramePack 工作流将斯坦福大学的革命性视频生成技术引入 RunComfy。FramePack 使您能够创建专业质量的视频,长度达到 60+ 秒,且从头到尾保持一致的 30 FPS 质量。它通过其独特的双向采样方法解决了视频生成中的两个关键问题:"遗忘"(早期内容的记忆衰退)和"漂移"(随时间质量下降)。生成数千帧而没有常见的质量下降问题——同时使用最少的云资源!

ComfyUI FramePack 工作流程

FramePack Wrapper for ComfyUI | Long Video Generation with Low Memory
想要运行这个工作流吗?
  • 完全可操作的工作流
  • 没有缺失的节点或模型
  • 无需手动设置
  • 具有惊艳的视觉效果

ComfyUI FramePack 示例

ComfyUI FramePack 描述

ComfyUI FramePack 封装器描述

1. 什么是 ComfyUI FramePack 封装器?

ComfyUI FramePack 封装器将斯坦福大学的先进 FramePack 技术集成到 ComfyUI 环境中。FramePack 建立在创新的帧上下文打包技术上,使得在最低计算资源下实现高效和高质量的长视频生成成为可能。FramePack 技术允许您使用即便是 6GB 笔记本 GPU 这样的普通 GPU 配置,以完整的 30fps 生成数千帧,使专业视频创作对每个人都可访问。FramePack 独特的视频生成方法如同图像扩散,但提供了卓越的视频效果。

2. ComfyUI FramePack 封装器的优势:

  • 高效的资源使用: FramePack 在较小的云机器上生成视频,GPU 内存需求最小
  • O(1) 计算复杂度: FramePack 保持恒定的处理速度,无论视频长度如何
  • 防漂移技术: FramePack 解决了随时间推移视频质量下降的常见问题
  • 长视频的一致质量: FramePack 即便是 30-60+ 秒的视频,也能保持较高的视觉质量,而没有其他视频生成模型中的常见劣化
  • 无时间步蒸馏: FramePack 在保持效率的同时保存质量

3. 如何使用 ComfyUI FramePack 封装器

3.1 使用 ComfyUI FramePack 的生成方法

FramePack 的示例设置:

  1. 准备输入:
    • Load Image 节点中:上传将被动画化为视频的参考图像
  2. 配置关键参数:
    • FramePackSampler 中:设置视频长度(例如 5.0 秒)
    • Video Combine 中:设置帧率(例如 30)和输出格式(例如 video/h264-mp4)
  3. 点击 run 按钮运行 FramePack 工作流
  4. 生成的 FramePack 视频将根据您在 Video Combine 节点中的设置保存

3.2 ComfyUI FramePack 的参数参考

FramePackSampler 节点:

  • steps:扩散步骤数(例如 30)- 较高的值产生更好的质量,但在 FramePack 中需要更长时间
  • guidance_scale:FramePack 中的额外指导强度(例如 10.00)- 较高的值更严格地遵循提示
  • seed:FramePack 中可重复结果的随机种子(例如 47)
  • total_second_length:FramePack 中生成的视频时长(例如 5.0 秒)
  • control_after_generate:FramePack 中控制防漂移采样方法(保持为 "fixed" 以获得最佳结果)

Video Combine 节点:

  • frame_rate:FramePack 视频输出的每秒帧数(例如 30)
  • crf:压缩质量因子(例如 19)- 较低的值 = 更高质量的 FramePack 视频

3.3 使用 ComfyUI FramePack 的高级优化

使用 FramePack 生成更长的视频: FramePack 的一大优势是能够高效生成长视频。要创建更长的视频:

  • 在 FramePackSampler 节点中增加 total_second_length 参数(例如,从 5.0 增加到 10.0、30.0,甚至 60.0+)
  • 保持 control_after_generate 设置为 "fixed" 以利用 FramePack 的高级防漂移采样技术
  • 当生成超过 10 秒的视频时,考虑稍微增加 gpu_memory_preservation 值以管理内存使用
  • 对于非常长的视频(30+ 秒),可能需要减少 latent_window_size 参数
  • FramePack 的 O(1) 计算复杂度确保无论视频长度如何,生成速度一致
  • 编写时间提示: 对于较长的视频,包含 "gradually," "slowly," "then" 等词来引导时间流动并描述元素如何随时间变化

调整视频分辨率: 要更改输出 FramePack 视频的分辨率,请调整工作流中的 "Resize Image" 节点:

  • 修改 widthheight 参数以设置所需的 FramePack 视频尺寸
  • 建议将尺寸设置为 8 的倍数以获得最佳 FramePack 结果
  • 注意:更高的分辨率将需要更多的 GPU 内存和处理时间
  • 对于较大的分辨率,可能需要调整 gpu_memory_preservation 参数以平衡内存使用

FramePack 提示技巧:

  • 在提示中对运动和过渡进行详细描述,以获得更好的 FramePack 结果
  • 包含描述 FramePack 中所需运动的特定动作动词
  • 为获得最佳效果,描述场景以及元素在 FramePack 视频中应如何移动/变化

关于 FramePack 的更多信息

FramePack 技术使用创新的双向采样方法,打破传统因果关系限制,以防止在较长视频中质量下降。特别是对于图像到视频的生成,FramePack 采用 "反向防漂移采样",在整个生成过程中将第一帧视为逼近目标,确保即便是长达 60 秒或更多(1800+ 帧)的视频也能获得高质量结果。

有关更多详细信息和 FramePack 模型下载:

  • FramePack 原始研究由
  • ComfyUI FramePack 封装器实现由

致谢

此工作流由 FramePack 提供支持,由 Lvmin Zhang 和 Maneesh Agrawala 在 Stanford University 开发。ComfyUI FramePack 封装器kijai 提供,包括定制的工作流和集成,使得使用 FramePack 技术的高效长视频生成成为可能。全体功劳归于原作者对 FramePack 的开创性研究工作。

想要更多 ComfyUI 工作流吗?

RunComfy
版权 2025 RunComfy. 保留所有权利。

RunComfy 是首选的 ComfyUI 平台,提供 ComfyUI 在线 环境和服务,以及 ComfyUI 工作流 具有惊艳的视觉效果。 RunComfy还提供 AI Playground, 帮助艺术家利用最新的AI工具创作出令人惊叹的艺术作品。