LTX 2.3 修复视频工作流程,用于精确的遮罩引导编辑
此 ComfyUI 工作流程通过将基础模型与 LTX 2.3 修复 LoRA 配对,将定向视频编辑带到 LTX-2.3。您可以在需要更改的区域上定义一个遮罩,然后管道仅重新生成该区域,同时保留场景中其他部分的运动、身份、光照和时间一致性。它非常适合去除瑕疵、替换对象、优化细节或插入新元素,而无需重新渲染整个序列。
LTX 2.3 修复是从头到尾集成的:加载参考视频,创建或自动生成遮罩,用遮罩帧引导模型,采样初始通过,然后使用潜在的上采样器和可选的第二次修复通过进行优化。支持音频,可以通过或生成静音以匹配编辑后的剪辑时长。
ComfyUI LTX 2.3 修复工作流程中的关键模型
- LTX-2.3 22B Transformer Only(开发或蒸馏版)。核心视频扩散变换器,从文本和引导中合成时间一致的帧。使用蒸馏版以更快的 8 步推理速度。Hugging Face: Lightricks/LTX-2.3 和 GitHub: LTX-2
- LTX 2.3 修复 LoRA。专为 LTX-2.3 调整的编辑 LoRA,专注于遮罩区域内的生成,因此您可以移除、替换或优化内容,同时保持背景运动稳定。Hugging Face: Alissonerdx/LTX-LoRAs
- Gemma 3 12B 指导文本编码器 + LTX-2.3 文本投影。为 LTX-2.3 变换器在提示条件下提供对齐的文本嵌入。为 ComfyUI 使用提供预打包的权重。Hugging Face: Comfy-Org/ltx-2 (split files)
- LTX-2.3 视频 VAE 和音频 VAE。压缩和解码变换器和音频模块使用的视频和音频潜在变量,实现高效采样和同步输出。为 ComfyUI 提供精选的二进制文件。Hugging Face collection
- LTX-2.3 空间上采样器 x2 和时间上采样器 x2。可选的潜在上采样器,在不改变内容的情况下提升空间细节并稳定时间动态。Hugging Face: Lightricks/LTX-2.3
- Segment Anything 2 (SAM 2)。用于直接在视频帧上自动生成点引导遮罩,加速 LTX 2.3 修复设置。GitHub: facebookresearch/segment-anything-2
如何使用 ComfyUI LTX 2.3 修复工作流程
该工作流程在两个协调阶段运行。首先,它从您的输入视频创建一个遮罩控制流并生成编辑后的初次通过。其次,它通过潜在上采样进行质量优化,并在启用时进行遮罩高分辨率修复通过。
视频设置
此组计算 LTX 2.3 修复的剪辑长度和帧节奏。设置 FPS 和 Duration (Seconds) 以定义时间;图形相应计算 total_frames。工作流程还允许您选择较长的图像维度作为目标分辨率,然后一致地调整输入大小,以便提示、遮罩和引导对齐。
输入
加载一个短参考剪辑,使用 VHS_LoadVideo 让图形预先缩放帧到您选择的分辨率。管道保存一个名为 input_video 的内部副本用于遮罩创建,另一个 control_video 用于在采样期间引导 LTX 2.3 修复。您可以随时预览控制流以确认框架和节奏。
分割
选择如何为 LTX 2.3 修复构建遮罩。使用 Sam2Segmentation (#800) 进行基于点的自动遮罩,或使用 PointsEditor (#860) 进行精细控制。使用 GrowMaskWithBlur 后处理结果以添加小的安全边距,并使用 BlockifyMask 减少噪声边缘;工作流程将清理后的输出存储为 final_masks。
控制视频预览
图形将您的遮罩区域合成到一个中性帧上,使模型“看到”只需更改的内容。ImageCompositeFromMaskBatch+ 创建遮罩引导帧,VHS_VideoCombine 以目标 FPS 预览序列。这个集中的控制流是 LTX 2.3 修复的支柱,有助于保护未遮罩的内容。
提示
写下您希望编辑后出现的内容,并明确保持不变的方面。使用主要的 Manual Prompt 编码器 (#389) 表示正面内容,并使用包含的负面编码器抑制模糊和水印等质量问题。好的 LTX 2.3 修复提示描述新对象、其材料、比例及其在现有构图和光照中的位置。
生成低分辨率
第一次通过将提示和您的控制帧绑定到模型的引导中。LTXVAddGuideMulti (#440) 将遮罩引导附加到条件上,CFGGuider (#396) 平衡对文本的遵循,SamplerCustomAdvanced (#382) 使用所选采样器和调度器运行推理。结果是一个时间一致的编辑剪辑,已经尊重您的 LTX 2.3 修复遮罩。
潜在上采样
如果您希望在不更改内容的情况下获得更多细节,请启用上采样器。LTXVLatentUpsampler (#818) 在潜在空间应用 LTX 空间上采样器,并使用 VAEDecodeTiled 进行内存高效重构。您可以使用内置的并排结合节点比较前后效果。
生成高分辨率
为了更高保真度的修复,由第一次通过引导,工作流程裁剪并重新绑定引导,使用 LTXVAddGuideMulti (#877) 采样,并使用 SamplerCustomAdvanced (#816) 进行采样。此阶段仍然意识到遮罩,并将在添加清晰边缘和更好纹理的同时保持场景运动稳定。当时间允许时,这是完成 LTX 2.3 修复镜头的首选方式。
遮罩切换
一个简单的 Automatic Segmentation 开关将手动或自动遮罩路由到修复路径中。当目标与背景明显分离时使用自动遮罩,当边缘复杂或需要对 LTX 2.3 修复行为进行外科手术般的控制时切换到手动点。清理后的选择存储为 final_masks 以供重用。
遮罩修复第二次通过
一个专用的高分辨率修复分支将遮罩应用得更进一步。SetLatentNoiseMask (#1010) 仅在遮罩激活的地方注入噪声,因此模型重新采样编辑区域,同时冻结其他所有内容。此通过非常适合替换标签、修复小瑕疵,或以最大组合锁定交换道具。
音频
您可以加载自己的音频或让图形生成一个与剪辑长度匹配的静音床。音频被编码为潜在变量以实现同步,可选地预览,然后在保存时重新混合。如果您在优化 LTX 2.3 修复设置时偏好纯视觉效果,只需保持静音路径启用即可。
导出和比较
预览节点以目标 FPS 显示控制流、第一次通过和优化输出,以便快速质量控制。并排比较视频会自动生成,以便您评估 LTX 2.3 修复如何影响遮罩区域与原始内容。
ComfyUI LTX 2.3 修复工作流程中的关键节点
LoraLoaderModelOnly (#419)
将 LTX 2.3 修复 LoRA 附加到加载的 LTX-2.3 变换器上,以便编辑保持在遮罩区域内。增加 strength 以更强地偏向修复行为,或减少它以让基础模型更多地影响风格。保持强度在各次通过中一致,以避免外观漂移。参考模型卡:LTX-2.3,LTX 2.3 修复 LoRA。
Sam2Segmentation (#800)
从 input_video 上的正面点生成干净的对象遮罩。通过 PointsEditor (#860) 提供点,以快速锁定目标,然后通过遮罩增长和块化进行优化。可靠的遮罩减少颜色渗出,并加快 LTX 2.3 修复的收敛速度。项目页面:Segment Anything 2。
SetLatentNoiseMask (#417)
将您的二进制遮罩直接应用于潜在变量,因此只有选定区域会被重新采样。如果您在边界处看到接缝,请使用 GrowMaskWithBlur 稍微扩展遮罩,或者如果非常细的细节在闪烁,请增加块大小。此节点对于保持未遮罩内容在各帧中完全稳定至关重要。
LTXVAddGuideMulti (#440)
将遮罩控制帧与文本条件融合,以便模型既受您的提示引导,又受空间变化引导。它还支持裁剪以将计算重点放在相关区域。在低分辨率和高分辨率通过中使用它,以保持 LTX 2.3 修复行为的一致性。
LTXVLatentUpsampler (#818)
使用 LTX 专用的 x2 模型对潜在变量进行上采样,然后使用平铺 VAE 解码以提高内存效率。它在不重新解释场景布局的情况下改善边缘、微纹理和小文本。在成功的第一次通过后使用,以在保持时间和身份稳定的同时提高质量。
CFGGuider (#396)
控制模型应如何强烈地遵循提示和引导。较低的值减少对文本的过拟合,并可以保留微妙的运动,而较高的值则在遮罩内强制更强的遵循。LTX 2.3 修复看起来过于自由或受限时,与 LoRA 强度一起调整此项。
BasicScheduler (#575)
设置采样器使用的噪声计划。包含的 bong_tangent 计划通过 RES4LYF 节点支持;如果您想要那种确切行为,请安装它们。参考:RES4LYF nodes。
SamplerCustomAdvanced (#382)
使用您选择的采样器预设运行去噪循环。在各次通过中使用相同的采样器,以获得最一致的 LTX 2.3 修复外观。如果需要额外的稳定性,请在手动或基本 sigma 下调整噪声流。
可选附加功能
- 针对 LTX 2.3 修复的提示:精确描述新对象,包括材料、颜色、比例及其在现有光照中的位置;保持负面活跃以抑制模糊或覆盖。
- 遮罩提示:给遮罩一个小的扩展以覆盖自然软边缘;对于 SAM 2,宁愿选择一些有信心的点,而不是许多不确定的点。
- 性能:使用缩放因子快速迭代遮罩和提示,然后返回全比例进行最终通过和潜在上采样。
- 一致性:在各次通过中保持 LoRA 强度、CFG 和采样器选择稳定,以最小化时间或风格偏移。
致谢
此工作流程实现并基于以下作品和资源。我们对 Alissonerdx 的 LTX 2.3 修复工作流程来源的贡献和维护表示感谢。有关权威细节,请参阅下面链接的原始文档和存储库。
资源
- Alissonerdx/LTX 2.3 修复工作流程来源
- Hugging Face: Alissonerdx/LTX-LoRAs
注意:使用所引用的模型、数据集和代码须遵循其作者和维护者提供的相应许可证和条款。
