PAN2 ComfyUI 工作流程:使用本地 Prompt Writer 将文本或图像转换为视频#
此 PAN2 ComfyUI 工作流程将短场景创意或首帧图像转换为连贯的视频。它运行 PAN 2 世界模型进行生成,并添加一个本地 Prompt Writer,将简短概念扩展为覆盖主题、动作和相机移动的定时字幕。
该工作流程专为希望获得可靠运动、一致照明和稳定几何的创作者设计,无需手动编写长提示。文本到视频和图像到视频都在同一画布上运行,共享一组分辨率和持续时间控制,并直接导出为 MP4。
Comfyui PAN2 ComfyUI 工作流程中的关键模型#
- IFM PAN 2 世界模型。核心生成器,通过文本或图像条件预测时间一致性视频,专注于稳定的世界建模和相机运动。来源:IFM/PAN2。
- PAN 2 权重用于 ComfyUI。一个维护的 PAN2 权重包,与 ComfyUI 加载器和采样器兼容,可在此图上快速设置。来源:Comfy-Org/PAN2。
- Hunyuan 风格的潜视频 VAE。一个视频 VAE,在视频管道中以紧凑潜空间编码和解码帧,提高多秒剪辑的速度和内存使用。背景:Tencent/HunyuanVideo。
- PAN2 兼容文本编码器。一个 Qwen 家族编码器,随 PAN2 权重打包,将 Prompt Writer 的定时字幕转换为采样器的正负条件。
如何使用 Comfyui PAN2 ComfyUI 工作流程#
从表面上看,该图提供了两个并行路径,在采样前合并。选择 Text2Video 或 Image2Video,写一个简短的想法,设置分辨率和持续时间一次,然后让 Prompt Writer 为 PAN2 生成结构化条件。最终采样器渲染潜帧,这些帧被解码并组合成 MP4。
Image2Video 组#
当您希望使用参考静止图像锚定外观时,请使用此路径。在 LoadImage (#32) 中加载第一帧;它由 ResizeImageMaskNode (#33) 根据 ResolutionSelector (#21) 调整大小,然后在 Wan22ImageToVideoLatent (#31) 中转换为时间潜。持续时间来自共享秒数控制,并自动转换为帧数。然后该潜流入合并点,以便 PAN2 ComfyUI 工作流程的其余部分可以采样、解码和导出视频。
Text2Video 组#
当您希望从文本生成整个场景时,请选择此选项。EmptyHunyuanLatentVideo (#14) 基于与 Image2Video 相同的分辨率和持续时间控制创建一个干净的时间潜。场景的运动和节奏来自 Prompt Writer 的字幕,因此您可以在不手动关键帧的情况下制作相机移动和主题动作。此路径使用 Image2Video 使用的相同合并点,并继续通过采样和导出。
共享核心:Prompt Writer 和条件#
在 PAN2PromptWriter (#22) 中写一到三句场景创意。节点将其扩展为定时字幕和一个抑制常见伪影的附带负库;两者的输出在 PreviewAny (#9) 和 PreviewAny (#24) 中预览,因此您可以根据需要复制或完善文本。CLIPTextEncode (#10) 和 CLIPTextEncode (#11) 将这些字符串转换为模型的正负条件。您可以保持提示最小,因为编写者会自动添加主题动作、相机运动和连续性提示。
采样、解码和导出#
模型路径加载 PAN2 并配置高效注意力,然后 KSampler (#7) 使用您的条件和活动潜路径生成潜视频。VAEDecode (#12) 将潜转换回帧。VHS_VideoCombine (#13) 将这些帧组装成 MP4,带有您选择的帧率和质量,嵌入工作流程元数据以便可重复性。
Comfyui PAN2 ComfyUI 工作流程中的关键节点#
PAN2PromptWriter (#22)#
将简短自然描述扩展为视频定时字幕,加上强大的负面提示。调整 prompt 以用简单语言描述主题、环境和相机意图;使用 duration 确定整体片段长度。如果您希望在镜头间有更多或更少的创意变化,请微调 temperature 或 top_p。对于可重复的叙事节奏,请保持 seed 固定。
ResolutionSelector (#21)#
从长宽比和百万像素目标设置两条路径的工作宽度和高度。先选择您的比例,然后提高或降低像素数量以平衡质量和速度。保持 Image2Video 和 Text2Video 在同一选择器上可防止在切换模式时比例不匹配。
Wan22ImageToVideoLatent (#31)#
将第一幅图像转换为 Image2Video 路线的时间一致潜序列。提供一个清晰、光线充足的帧,已匹配预期比例,以避免裁剪意外。长度自动提供;您可以通过更改共享的秒数控制重新访问它。
EmptyHunyuanLatentVideo (#14)#
使用选定的分辨率和持续时间为 Text2Video 路线创建一个空白时间潜。这是让模型纯粹从 Prompt Writer 的指导中发明运动的最干净方式。对于较长的剪辑,考虑生成几个较短的镜头以最小化漂移,然后将它们编辑在一起。
Any Switch (rgthree) (#35)#
选择哪个潜路径驱动生成。当您希望从参考帧中获得严格的视觉连续性时,选择 Image2Video 潜,或切换到空潜以完全文本驱动视频。可以在不重新接线图的情况下安全地在运行之间切换。
KSampler (#7)#
使用合并模型和您的条件执行核心去噪步骤。调整 steps 以获得质量与速度的平衡,调整 cfg 以获得提示依从性与自然主义的平衡,并在从 Image2Video 潜中优化时调整 denoise。保持 scheduler 和 sampler_name 合理配对;此处的小变化可能会显著改变运动平滑度。
VHS_VideoCombine (#13)#
从解码帧写入最终的 MP4。设置 frame_rate 以匹配您的目标交付,并调整 crf 以在文件大小和质量之间进行权衡。如果您打算稍后编辑,建议选择略高的质量设置。
可选附加功能#
- 保持场景创意简短。一两个句子,明确主题、设置和相机意图,生成最可靠的 Prompt Writer 字幕。
- 对于 Image2Video,提供一个已匹配目标长宽比和照明的第一帧;避免在导入前进行大规模放大或裁剪。
- 从短片(6 至 12 秒)开始。较长的持续时间会放大漂移,需要更仔细的提示。
- 使用提供的负库原样,然后仅添加对您的主题重要的少数禁令;过长的负面可能会抑制所需的细节。
- 固定采样器
seed以迭代措辞,然后在构图和时间感觉正确后进行探索。 - 如果运动看起来太快或太慢,首先调整秒数控制,而不是相机措辞;时间变化会在整个字幕中一致传播。
链接和参考
- PAN 2 世界模型:IFM/PAN2
- PAN 2 权重用于 ComfyUI:Comfy-Org/PAN2
- Prompt Writer 节点:benjiyaya/ComfyUI-PAN2-PromptWriter
- 潜视频背景:Tencent/HunyuanVideo
致谢#
此工作流程实施并建立在以下作品和资源之上。我们感谢 IFM 提供 PAN2 模型,感谢 Comfy-Org 提供 PAN2 权重,感谢 benjiyaya 和 AI Future Tech 提供 PAN2 Prompt Writer 以及创作者演练和示例工作流程的贡献和维护。有关权威细节,请参考以下链接的原始文档和存储库。
资源#
- IFM/PAN2
- Hugging Face: IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face: Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 walkthroughs and sample workflows
- 文档/发布说明:创作者演练和示例工作流程
注意:引用的模型、数据集和代码的使用受其作者和维护者提供的各自许可证和条款的约束。

