Self Forcing：自回归关键帧到视频生成#

Self Forcing 是一个高级的关键帧驱动视频生成模型。Self Forcing 通过在描述性文本提示的引导下，在起始和结束关键帧之间生成运动，实现流畅、高质量的视频合成。

基于带有 KV 缓存的自回归视频扩散架构，Self Forcing 擅长在帧之间生成时间一致、身份保持的运动。Self Forcing 的关键帧-文本联合方法能够在保持生成视频全程主体结构和风格的同时，实现流畅的过渡。

为什么使用 Self Forcing？#

Self Forcing 提供：

• 关键帧驱动生成：Self Forcing 使用起始和结束参考图像来控制外观和运动
• 提示 + 关键帧控制：Self Forcing 将创意文本描述与参考结构相结合
• 自回归运动：Self Forcing 提供帧间平滑、时间一致的过渡
• 身份保持：Self Forcing 在生成的序列中保持主体忠实度
• 高效视频创作的理想选择：Self Forcing 非常适合角色驱动的故事叙述、电影动画和概念视频合成

无论您是生成动画、电影序列还是身份一致的 AI 视频，Self Forcing 都能通过 Self Forcing 技术在确保流畅逼真运动的同时，为您提供完整的创作控制。

输入图像#

在本节中，您将上传用于 Self Forcing 的起始关键帧和结束关键帧图像。这两张图像定义了 Self Forcing 生成视频的开始和结束外观。

• 使用提供的 Load Image 节点为 Self Forcing 上传两张参考图像。
• 使用可选的调整大小和裁剪节点来调整图像，以实现最佳的 Self Forcing 对齐和宽高比。
• 正确对齐和良好裁剪的关键帧可以提高生成序列中的 Self Forcing 运动一致性。

视频时长#

设置 Self Forcing 视频将生成的总帧数。

• 更长的帧数允许在 Self Forcing 中关键帧之间进行更渐进、更流畅的过渡。
• 更短的帧数产生更快的 Self Forcing 过渡。
• 典型的 Self Forcing 范围：根据所需长度和运动复杂度，16-48 帧。

模型#

此组加载 Self Forcing 自回归视频扩散模型。Self Forcing 工作流程会自动为您选择正确的模型版本。

• Self Forcing 基于带有 KV 缓存的自回归展开构建。
• Self Forcing 确保稳定、时间一致的运动生成。
• Self Forcing 允许在 RTX 4090 等高端 GPU 上进行实时推理。

提示词#

在本节中，您可以输入文本提示来引导 Self Forcing 生成。

• 将提示与关键帧相结合，以影响 Self Forcing 的风格、背景或运动语境。
• 使用描述性和清晰的语言来最大化 Self Forcing 的创作控制。
• 也可以使用负面提示来抑制 Self Forcing 中不需要的元素。

输出#

Self Forcing 生成完成后：

• Self Forcing 视频将自动保存在 ComfyUI 目录中的 Comfyui > output 文件夹中。
• Self Forcing 文件以视频片段（MP4 或图像序列，取决于配置）形式存储。

致谢#

此工作流程使用由 guandeh 开发的 Self Forcing 模型。 Self Forcing 工作流程集成了 kijai 的 Wan Video Wrapper 节点，以实现 ComfyUI 内的无缝 Self Forcing 视频生成。 感谢两位作者在原始 Self Forcing 模型开发和集成工作方面的贡献。

GitHub Repository: https://github.com/guandeh17/Self-Forcing