LTX 2.3 多视角视频:用于 ComfyUI 的 Cross‑View IC‑LoRA 工作流程#
此工作流程创建同步的 LTX 2.3 多视角视频,从不同的摄像机角度重新渲染相同的场景,同时保持身份、外观和几何的一致性。它结合了官方的 LTX-2.3 骨干网和一个专用的 IC-LoRA,能够解释紧凑的“交叉视图”提示,如“新摄像机角度:稍微向左,高一点,距离相同”以生成一致的多角度片段。
专为虚拟制作、3D 重建、角色展示、VFX 和电影叙事设计,该图表保持时间、长度和帧率一致,因此您可以在一个会话中排队多个角度并组装一个干净的多摄像头编辑。包含的备注块列出了数十个交叉视图预设,您可以将其粘贴到提示中,使 LTX 2.3 多视角视频简单易用并易于重复。
Comfyui LTX 2.3 多视角视频工作流程中的关键模型#
- Lightricks LTX-2.3 22B。用于生成的核心视听扩散模型,支持文本、图像、视频和音频条件,具有原生 A/V 潜在空间。有关架构、变体和使用说明,请参见官方模型卡:Lightricks/LTX-2.3 on Hugging Face。 Link
- LTX-2.3 蒸馏权重。轻量级蒸馏路径提高了速度并稳定了更长渲染的结果;此工作流程连接到随同模型卡发行的蒸馏 22B 版本资产。 Link
- LTX 2.3 IC-LoRA CrossView Prompt by Cseti。专用的 IC-LoRA,在保持主体和场景一致性的同时,强制执行交叉视图摄像机变换,是此图表中 LTX 2.3 多视角视频的引擎。 Link
- LTX-2.3 视频 VAE 和音频 VAE。用于编码和解码视频和音频潜在空间的官方 VAE,贯穿整个管道。它们是 LTX-2.3 发布的一部分。 Link
- Google Gemma 3 12B Instruct。通过 ComfyUI 的双 CLIP 接口在此用作文本编码器,因此提示和交叉视图指令可以干净地翻译成 LTX-Video 的文本投影空间。 Link
- LTX-Video 项目参考。有关模型系列及其 AV 潜在设计的背景,请参见官方存储库和论文。 GitHub • arXiv
如何使用 Comfyui LTX 2.3 多视角视频工作流程#
从高层次来看,该工作流程加载基础模型和 IC-LoRA,准备参考剪辑,从您的提示和参考帧构建条件,然后采样一个新的渲染,遵循请求的交叉视图摄像机更改。输出两个结果:一个并排调试视频和一个带音频的干净渲染。
模型#
此组连接了生成骨干和适配器。CheckpointLoaderSimple (#607) 加载 LTX-2.3 22B 检查点,然后 LoraLoaderModelOnly (#606) 应用蒸馏的 LoRA 以提高速度和质量。LTXICLoRALoaderModelOnly (#5924) 加载驱动 LTX 2.3 多视角视频的 CrossView Prompt IC-LoRA。DualCLIPLoader (#416) 引入 Gemma 3 12B 文本编码器与 LTX 文本投影一起使用,而 VAELoader (#5808) 和 LTXVAudioVAELoader (#5809) 提供官方视频和音频 VAE。
输入视频设置#
在此设置您的输出基本时间和大小。FPS (Input) (#616) 和 Seconds (Input) (#615) 确定剪辑长度,图表自动计算帧数以保持每个视图的时间对齐。Width (#612) 和 Height (#5968) 定义渲染分辨率。所有下游采样器和 VAE 读取这些共享值,这保持不同角度的一致性,使 LTX 2.3 多视角视频可以在不重新计时的情况下剪辑在一起。
准备参考视频#
使用 VHS_LoadVideo (#5997) 加载一个可选的参考剪辑以获取运动、构图和音频。视频通过 ImageResizeKJv2 (#5966) 调整大小以匹配您的目标分辨率,其音频存储用于最终渲染。如果您更喜欢纯文本到视频,可以跳过加载器;有了参考,工作流程会从新角度重新渲染场景,同时保持身份稳定。
条件#
提示通过 CLIP Text Encode (Positive Prompt) (#5922) 使用 Gemma,然后进入 LTXVConditioning (#164) ,其中附加了帧率以进行时间控制。正面提示是放置交叉视图指令的地方,例如“交叉视图。新摄像机角度:稍微向右,高一点,距离相同。” LTXVImgToVideoConditionOnly (#5904) 将调整大小的参考帧转换为运动先验而不复制像素,而 LTXAddVideoICLoRAGuide (#5899) 注入 CrossView IC-LoRA 指导,以便在最终渲染中尊重摄像机变换。
预处理#
为了快速质量保证,ImageConcatMulti (#5974) 构建了一个并排的参考和生成帧条。这有助于您确认交叉视图指令产生了预期的摄像机移动,并且在您提交更长的 LTX 2.3 多视角视频批次之前,身份得到了保留。
采样#
SamplerCustom (#561) 使用组合的模型和条件驱动扩散,接收保持音频和视频同步的 AV 潜在空间。计划由 ManualSigmas (#5972) 提供,采样器类型由 KSamplerSelect (#154) 提供。在采样之后,VAEDecode (#471) 使用官方视频 VAE 重建帧。VHS_VideoCombine (#604) 然后写入带有存储的源音频的最终 MP4,而第二个 VHS_VideoCombine (#5975) 保存并排调试渲染。
Comfyui LTX 2.3 多视角视频工作流程中的关键节点#
LTXICLoRALoaderModelOnly(#5924) 加载 CrossView Prompt IC-LoRA 并将其附加到活动的 LTX-2.3 模型,以便可以用自然语言请求摄像机更改。增加适配器强度以更强地遵循请求的视点,或者如果您看到过度约束的运动,请减少它。节点集来自官方 ComfyUI-LTXVideo 扩展。 GitHubLTXAddVideoICLoRAGuide(#5899) 使用您的正面提示、当前视频潜在空间和参考图像序列在采样期间应用 IC-LoRA 指导。这是将普通渲染转换为 LTX 2.3 多视角视频的杠杆,通过强制交叉视图几何来保持身份。根据基本提示调整指南的强度,以平衡创造力和摄像机忠实度。 GitHubLTXVImgToVideoConditionOnly(#5904) 从参考帧构建运动和构图先验而不复制像素,这有助于在更改摄像机角度时保持时间和角色一致性。当您希望新视图回响原始性能时使用它。对于纯文本到视频或完全新颖的镜头,您可以绕过参考输入。 GitHubSamplerCustom(#561) 融合模型、条件和 sigma 计划以生成 AV 潜在空间的主要采样器。在KSamplerSelect(#154) 中选择适合您的质量速度目标的采样器类型。如果您计划为 LTX 2.3 多视角视频排队多个角度,请保持设置一致,以便所有输出保持帧锁定。VHS_LoadVideo(#5997) 和VHS_VideoCombine(#604, #5975) VideoHelperSuite 处理导入和导出。加载器提取帧和音频;组合器写入调试并排和带音频的干净渲染的 MP4 文件。保持帧率与输入组对齐,以便轻松进行多视图编辑。 GitHubImageResizeKJv2(#5966) 确保参考序列在条件和采样之前匹配您的目标分辨率。匹配尺寸减少了重采样伪影,并帮助 IC-LoRA 在不同角度保持面部和场景细节。 GitHub
可选的额外功能#
- 使用备注块中提供的交叉视图预设快速创作多个角度,然后排队运行以获得同步的 LTX 2.3 多视角视频用于多摄像头编辑。
- 保持所有角度的宽度和高度相同;在项目中途更改分辨率可能会引入细微的身份漂移。
- 为了最强的身份锁定,保持主题描述和服装一致,同时仅更改交叉视图指令。
- 要构建四角度集,请使用相同的秒数和 fps 渲染相同的提示,使用四个交叉视图方向(正面、侧面、三分之一和后面)。
- 使用并排调试输出验证几何和时间,然后导出您最终的 LTX 2.3 多视角视频集。
致谢#
此工作流程实现并构建在以下作品和资源之上。我们对 Innovate Futures @ Benji 的 LTX 2.3 多视角视频工作流程来源的贡献和维护表示衷心感谢。有关权威详情,请参阅下文链接的原始文档和存储库。
资源#
- Innovate Futures @ Benji/LTX 2.3 多视角视频工作流程来源
- 文档 / 发行说明: Patreon Post
注意:引用的模型、数据集和代码的使用受其作者和维护者提供的各自许可证和条款的约束。


