FramePack 封装器 | 高效长视频生成

ComfyUI FramePack 封装器描述

1. 什么是 ComfyUI FramePack 封装器？

ComfyUI FramePack 封装器将斯坦福大学的先进 FramePack 技术集成到 ComfyUI 环境中。FramePack 建立在创新的帧上下文打包技术上，使得在最低计算资源下实现高效和高质量的长视频生成成为可能。FramePack 技术允许您使用即便是 6GB 笔记本 GPU 这样的普通 GPU 配置，以完整的 30fps 生成数千帧，使专业视频创作对每个人都可访问。FramePack 独特的视频生成方法如同图像扩散，但提供了卓越的视频效果。

2. ComfyUI FramePack 封装器的优势：

• 高效的资源使用： FramePack 在较小的云机器上生成视频，GPU 内存需求最小
• O(1) 计算复杂度： FramePack 保持恒定的处理速度，无论视频长度如何
• 防漂移技术： FramePack 解决了随时间推移视频质量下降的常见问题
• 长视频的一致质量： FramePack 即便是 30-60+ 秒的视频，也能保持较高的视觉质量，而没有其他视频生成模型中的常见劣化
• 无时间步蒸馏： FramePack 在保持效率的同时保存质量

3. 如何使用 ComfyUI FramePack 封装器

3.1 使用 ComfyUI FramePack 的生成方法

FramePack 的示例设置：

1. 准备输入：
   • 在 Load Image 节点中：上传将被动画化为视频的参考图像
2. 配置关键参数：
   • 在 FramePackSampler 中：设置视频长度（例如 5.0 秒）
   • 在 Video Combine 中：设置帧率（例如 30）和输出格式（例如 video/h264-mp4）
3. 点击 run 按钮运行 FramePack 工作流
4. 生成的 FramePack 视频将根据您在 Video Combine 节点中的设置保存

3.2 ComfyUI FramePack 的参数参考

FramePackSampler 节点：

• steps：扩散步骤数（例如 30）- 较高的值产生更好的质量，但在 FramePack 中需要更长时间
• guidance_scale：FramePack 中的额外指导强度（例如 10.00）- 较高的值更严格地遵循提示
• seed：FramePack 中可重复结果的随机种子（例如 47）
• total_second_length：FramePack 中生成的视频时长（例如 5.0 秒）
• control_after_generate：FramePack 中控制防漂移采样方法（保持为 "fixed" 以获得最佳结果）

Video Combine 节点：

• frame_rate：FramePack 视频输出的每秒帧数（例如 30）
• crf：压缩质量因子（例如 19）- 较低的值 = 更高质量的 FramePack 视频

3.3 使用 ComfyUI FramePack 的高级优化

使用 FramePack 生成更长的视频： FramePack 的一大优势是能够高效生成长视频。要创建更长的视频：

• 在 FramePackSampler 节点中增加 total_second_length 参数（例如，从 5.0 增加到 10.0、30.0，甚至 60.0+）
• 保持 control_after_generate 设置为 "fixed" 以利用 FramePack 的高级防漂移采样技术
• 当生成超过 10 秒的视频时，考虑稍微增加 gpu_memory_preservation 值以管理内存使用
• 对于非常长的视频（30+ 秒），可能需要减少 latent_window_size 参数
• FramePack 的 O(1) 计算复杂度确保无论视频长度如何，生成速度一致
• 编写时间提示： 对于较长的视频，包含 "gradually," "slowly," "then" 等词来引导时间流动并描述元素如何随时间变化

调整视频分辨率： 要更改输出 FramePack 视频的分辨率，请调整工作流中的 "Resize Image" 节点：

• 修改 width 和 height 参数以设置所需的 FramePack 视频尺寸
• 建议将尺寸设置为 8 的倍数以获得最佳 FramePack 结果
• 注意：更高的分辨率将需要更多的 GPU 内存和处理时间
• 对于较大的分辨率，可能需要调整 gpu_memory_preservation 参数以平衡内存使用

FramePack 提示技巧：

• 在提示中对运动和过渡进行详细描述，以获得更好的 FramePack 结果
• 包含描述 FramePack 中所需运动的特定动作动词
• 为获得最佳效果，描述场景以及元素在 FramePack 视频中应如何移动/变化

关于 FramePack 的更多信息

FramePack 技术使用创新的双向采样方法，打破传统因果关系限制，以防止在较长视频中质量下降。特别是对于图像到视频的生成，FramePack 采用 "反向防漂移采样"，在整个生成过程中将第一帧视为逼近目标，确保即便是长达 60 秒或更多（1800+ 帧）的视频也能获得高质量结果。

有关更多详细信息和 FramePack 模型下载：

• FramePack 原始研究由 Lvmin Zhang 和 Maneesh Agrawala (Stanford University)
• ComfyUI FramePack 封装器实现由 kijai

致谢

此工作流由 FramePack 提供支持，由 Lvmin Zhang 和 Maneesh Agrawala 在 Stanford University 开发。ComfyUI FramePack 封装器 由 kijai 提供，包括定制的工作流和集成，使得使用 FramePack 技术的高效长视频生成成为可能。全体功劳归于原作者对 FramePack 的开创性研究工作。