LTX 2.3 Sulphur 2 Prompt Relay 工作流 | 电影视频制作器

LTX 2.3 Sulphur 2 Prompt Relay 工作流：在 ComfyUI 中实现图像到视频的微动作序列#

这个 ComfyUI 工作流将单个参考图像和分段动作提示转变为短片。它结合了 LTX‑2.3 简化视频生成、Sulphur 2 动作 LoRA 和 Prompt Relay 智能编码，因此您可以将微动作描述为一个序列，而不是依赖于一个简单的提示。图表预先布线以同步音频潜在变量，验证的雨街图像到视频示例，以及直接云播放的标准化输入/输出。

当您希望紧密地将视觉锚定到参考框架并实现逐步展开的控制动作时，请使用此 LTX 2.3 Sulphur 2 Prompt Relay 工作流。电影制作者、编辑和动作设计师可以布局如“在雨中行走 | 梳理头发 | 转身挥手 | 退出”等“节拍”，并在整个镜头中获得连贯的运动和构图。

Comfyui LTX 2.3 Sulphur 2 Prompt Relay 工作流中的关键模型#

• LTX‑2.3 音视频基础模型（简化，仅变压器）。在一次扩散过程中生成视频和同步音频标记；此工作流使用为 ComfyUI 打包的 22B 变体。权重：Lightricks/LTX‑2.3 和节点/实用程序：Lightricks/ComfyUI‑LTXVideo。另请参阅 LTX‑Video 中的研究背景和论文 LTX‑Video: Realtime Video Latent Diffusion。
• LTX‑Video VAE 对（视频 VAE + 音频 VAE）。编码/解码潜在视频帧和用于时间对齐的音频流。适合 ComfyUI 的预构建 VAE 文件可在 LTX‑2.3 包中找到，例如 Kijai/LTX2.3_comfy 和官方 ComfyUI‑LTXVideo 仓库。
• 基于 Gemma 的文本编码器和 LTX 文本投影。通过 CLIP 风格的编码器和与 LTX 集成捆绑的模型特定投影层为 LTX‑2.3 提供长上下文提示理解。参见 ComfyUI‑LTXVideo 中的编码器和配置。
• Sulphur 2 动作 LoRA（可选）。作为 LoRA 加载的微调，偏向动作节奏和图像到视频的连续性。当您希望明确的节奏控制时，它与 Prompt Relay 配合良好。

如何使用 Comfyui LTX 2.3 Sulphur 2 Prompt Relay 工作流#

工作流遵循从参考图像到潜在设置、模型和 LoRAs、提示序列、采样，然后解码和导出的清晰路径。用您自己的演示输入替换，并专注于下面提到的少数控件。

• 参考图像和尺寸
  • LoadImage (#620) 让您选择锚点图像。下一个节点，ImageScaleByAspectRatio V2 (#621)，将其适合工作画布，同时保持构图稳定。LTXVPreprocess (#586) 应用 LTX 友好的预处理，以便第一帧锁定主体、光照和调色板。使用干净、光线充足的参考，已匹配您所需的构图。
• 潜在设置（视频 + 音频）
  • EmptyLTXVLatentVideo (#577) 定义画布大小和镜头长度。Get_video_vae (#583) 和 LTXVImgToVideoInplaceKJ (#617) 将参考静止图像直接注入潜在视频，以便从第一帧开始保持外观一致。与此同时，Get_audio_vae (#576) 和 LTXVEmptyLatentAudio (#547) 创建一个同步的音频潜在变量（默认静音），以保持时间对齐。LTXVConcatAVLatent (#548) 合并两个流以进行统一扩散。
• 模型加载和运动控制
  • UNETLoader (#632) 加载简化的 LTX‑2.3 变压器。LoRA 堆栈添加行为：LoraLoaderModelOnly (#630) 应用简化的 LTX 助手，LoraLoaderModelOnly (#628) 加载 Sulphur 2 动作 LoRA，LoraLoaderModelOnly (#606) 可以添加 I2V 稳定器。PathchSageAttentionKJ (#542) 补丁注意力以提高性能/一致性。这些节点共同决定了您的提示如何强烈地引导运动与保持参考之间的平衡。
• 使用 Prompt Relay 进行提示序列
  • DualCLIPLoader (#416) 加载文本编码器。PromptRelaySmartEncode (#610) 接受 global_prompt 以获取持久细节和 smart_prompt 以获取动作序列。使用管道分隔的段落，如“女人在雨中行走 | 梳理头发 | 转身挥手 | 走向远方”，或使用块头，如“场景 1: … 场景 2: …”来加权屏幕时间。节点自动分配时间跨段落，因此您可以编写节拍而不是计算帧。参见 ComfyUI‑PromptRelay 中的语法参考。
• 调节和帧率
  • LTXVConditioning (#164) 接受 Prompt Relay 输出以获得正面指导和最小的负面基线（ConditioningZeroOut, #420）。它还设置镜头的目标帧率，下游节点使用该帧率保持您的段落权重与时间一致。
• 采样器和预览
  • BasicScheduler (#514) 形状噪声调度；KSamplerSelect (#154) 选择采样器。VisualizeSigmasKJ (#358) 预览调度，以便您可以看到去噪曲线将如何发展。LTX2SamplingPreviewOverride (#588) 允许在扩散时进行响应预览。SamplerCustom (#561) 使用您的 AV 潜在变量、提示、LoRAs 和调度运行统一音视频扩散。
• 解码和导出
  • LTXVSeparateAVLatent (#549) 分离最终的 AV 潜在变量。VAEDecode (#471) 生成帧；LTXVAudioVAEDecode (#550) 解码音频潜在变量。VHS_VideoCombine (#604) 将帧和音频合并成符合标准的 yuv420p 格式的 H.264 MP4，准备播放和编辑。

Comfyui LTX 2.3 Sulphur 2 Prompt Relay 工作流中的关键节点#

• PromptRelaySmartEncode (#610)
  • 目的：将您的逐节“智能提示”翻译为整个剪辑的适时文本调节。使用 global_prompt 表示不变的细节（风格、主题、光照）和 smart_prompt 表示动作序列。支持两种创作风格：由 | 分隔的内联段落，带有可选的比例标签，如 [0-50]，或像“场景 1:”这样的块头，通过范围加权段落。每个提示保持一种语法以避免歧义。参考：ComfyUI‑PromptRelay。
• LTXVImgToVideoInplaceKJ (#617)
  • 目的：锁定第一帧的外观并通过运动轻柔地传播。如果身份或衣柜漂移，提高其图像依从性；如果运动似乎受限，降低以允许更多动态。与您的 Sulphur 2 LoRA 强度平衡，以保持参考稳定而不冻结运动。
• LoraLoaderModelOnly (#628) — Sulphur 2 动作 LoRA
  • 目的：注入 Sulphur 2 微调以偏向动作连续性、轨迹平滑和动作布景。增加 strength_model 以强调引导的跨段落运动；如果您看到过度约束或重复模式，则减少它。与 ImgToVideoInplace 强度配合调整，以保持主体的忠实度和运动能量的和谐。
• LTXVConditioning (#164)
  • 目的：为 LTX‑2.3 整合正/负调节并设置剪辑的帧率。如果您延长镜头，请重新审视您的 Prompt Relay 段落权重，以便相对时间仍然符合预期的节拍。
• SamplerCustom (#561)
  • 目的：使用您选择的采样器和调度运行去噪过程。如果运动抖动，尝试稍微平滑的调度或以已知时间稳定性的采样器；如果提示未能引导，适度提高指导，同时注意过度饱和。使用 VisualizeSigmasKJ 在长时间运行前进行计划形状的合理性检查。

可选扩展#

• 使用 Prompt Relay 编写有效的微动作
  • 内联风格：“在雨中行走 | 梳理头发 | 转身挥手 | 退出。”要为某个动作分配更多时间，添加权重标签，如“[0-200]”与“[200-260]”；只有跨度重要。
  • 块风格：使用诸如“场景 1:”和“场景 2-4:”之类的标题在自己的行上。标题中的范围设置相对持续时间，标题在标记化之前被剥离。
• 快速故障排除
  • 身份漂移：增加 LTXVImgToVideoInplaceKJ 中的图像依从性或减少 Sulphur 2 的 strength_model。
  • 运动过慢/过快：在智能提示中重新平衡段落跨度，以便重要节拍获得更多或更少时间。
  • 闪烁或伪影：尝试更稳定的采样器和调度，或略微提高指导；注意过度锐化。
• 有用的参考
  • LTX‑2.3 模型权重和文档：Hugging Face: Lightricks/LTX‑2.3
  • ComfyUI 节点和示例流程：Lightricks/ComfyUI‑LTXVideo
  • Prompt Relay 语法和示例：kijai/ComfyUI‑PromptRelay
  • 此图中使用的 LTX 友好助手：kijai/ComfyUI‑KJNodes

致谢#

此工作流实现并建立在以下作品和资源之上。我们感谢 Lightricks 提供 LTX-Video，Kijai 提供 ComfyUI-PromptRelay 节点和 ComfyUI-KJNodes 助手，以及 RunningHub 和 RunComfy 提供的工作流参考和 Cloud Save 设置的贡献和维护。有关权威详细信息，请参阅下面链接的原始文档和存储库。

资源#

• RunningHub/Workflow reference
  • 文档 / 发布说明：RunningHub workflow reference
• RunComfy/Cloud Save setup
  • 文档 / 发布说明：RunComfy Cloud Save setup
• Lightricks/LTX-Video
  • GitHub: Lightricks/LTX-Video
  • Hugging Face: Lightricks/LTX-Video-0.9.7-dev
  • arXiv: arXiv:2501.00103
• kijai/ComfyUI-PromptRelay
  • GitHub: kijai/ComfyUI-PromptRelay
• kijai/ComfyUI-KJNodes
  • GitHub: kijai/ComfyUI-KJNodes

注意：使用所参考的模型、数据集和代码需遵循其作者和维护者提供的相关许可证和条款。