VOID 视频修复 ComfyUI: 交互感知的对象移除，实现清晰一致的视频#
此 VOID 视频修复 ComfyUI 工作流程通过时间一致性移除剪辑中的对象及其视觉交互。它结合了 Meta 的 SAM3 文本驱动分割来定义掩码，并使用 Netflix VOID 的双通道视频修复来填补时间空洞，产生的结果看起来就像不需要的对象及其附近的效果从未存在过。
创作者、编辑和 VFX 团队可以在单帧清理在运动中闪烁或断裂时依赖 VOID 视频修复 ComfyUI。工作流程输出两个剪辑：Pass 1 作为快速中间过程，Pass 2 作为具有更强时间稳定性的精细结果。提供一个源视频，一个简短的 SAM3 描述要移除对象的短语，以及描述您想保留场景的修复提示。
ComfyUI VOID 视频修复 ComfyUI 工作流程中的关键模型#
- VOID：视频对象和交互删除。用于视频对象移除的双通道扩散，具有时间推理；参考实现和检查点由 Netflix 提供。 GitHub 和 Hugging Face
- Segment Anything Model 3.1 Multiplex (SAM3.1)。用于生成引导修复的对象掩码的文本和提示图像分割。 Hugging Face
- RAFT：Recurrent All-Pairs Field Transforms。用于将 Pass 1 中的噪声扭曲到 Pass 2 中以保持帧间运动一致的光流。 arXiv 以及在 VOID 模型包中的权重 Hugging Face
- CogVideoX VAE。用于在修复过程中编码和解码视频帧的潜在编码器。 Hugging Face
- T5-XXL 文本编码器 (fp16)。将正面和负面提示转化为扩散模型条件的语言骨干。 Hugging Face
如何使用 ComfyUI VOID 视频修复 ComfyUI 工作流程#
此 VOID 视频修复 ComfyUI 图表遵循一个明确的路径：加载模型和源剪辑，使用 SAM3 创建对象掩码，从您的提示和掩码中构建共享条件，运行 Pass 1 以建立内容，然后运行 Pass 2 以扭曲噪声以实现稳定的运动。音频可选择性地修剪以匹配处理的片段。工作流程保存 Pass 1 和 Pass 2 视频，以便您可以比较或快速移动。
模型#
此组加载 VOID 视频修复 ComfyUI 所需的所有组件。CLIPLoader (#2) 引入 T5-XXL 文本编码器，VAELoader (#3) 提供 CogVideoX VAE。UNETLoader (#144) 初始化 Pass 1 的 VOID UNet，UNETLoader (#143) 设置 Pass 2 的 VOID UNet。OpticalFlowLoader (#142) 加载 RAFT 模型，后者驱动通道间的噪声扭曲。
输入视频 (将文件放在 ComfyUI/input/)#
将 Source video (ComfyUI/input/) 加载器指向您的剪辑，然后 GetVideoComponents (#166) 将其分割为帧、音频和 fps。ImageFromBatch (#145) 选择一个代表性帧来预览掩码。GetImageSize (#43) 和简单的数学节点计算剪辑长度和索引以实现一致的切片。提供起始帧和持续时间以仅处理您想处理的部分。
创建掩码#
Image Segmentation (SAM3) 子图为 VOID 视频修复 ComfyUI 生成逐帧对象掩码。SAM3_Detect (#75) 使用您的 SAM3 文本提示在所选帧上分割对象，CLIPTextEncode (#78) 对短语进行编码。掩码在 MaskPreview (#132) 中预览，以便您可以验证覆盖并在需要时完善措辞。干净、具体的短语如 "red cup on table" 或 "person in blue jacket" 有助于 SAM3 隔离正确的主体。
共享：文本和掩码条件#
Positive Prompt (CLIPTextEncode (#6)) 应描述去除后的场景，而不是去除的行为。Negative Prompt (CLIPTextEncode (#7)) 可选列出您不想要的伪影。VOIDInpaintConditioning (#10) 将提示、VAE、传入帧、您的 SAM3 掩码和目标尺寸融合成一个潜在条件包，用于两个通道。可以将其视为告诉 VOID 保留什么以及在对象消失后运动和外观应如何感觉。
Pass 1: 采样 (随机噪声 → DDIM)#
VOID 视频修复 ComfyUI 的 Pass 1 使用标准随机噪声建立合理的填充。RandomNoise (#141) 为过程播种，BasicScheduler (#138) 和 VOIDSampler (#133) 定义扩散计划，CFGGuider (#140) 将您的提示混入模型中。SamplerCustomAdvanced (#49) 合成潜在剪辑，VAEDecode (#45) 将其转回帧。CreateVideo (#46) 可选择附加音频并写入中间 Pass 1 视频，您可以在精炼前检查。
Pass 2: 采样 (扭曲噪声 → DDIM)#
Pass 2 通过初始化使用 Pass 1 的扭曲噪声而不是新的随机性来提高时间稳定性。VOIDWarpedNoise (#31) 使用 RAFT 光流与 Pass 1 帧创建时间对齐的噪声，然后 VOIDWarpedNoiseSource (#32) 将其送入采样。CFGGuider (#136)、BasicScheduler (#137) 和 VOIDSampler (#134) 设置第二个采样器，SamplerCustomAdvanced (#35) 精炼修复的内容。VAEDecode (#36) 生成最终帧。如果您切换跳过，ComfySwitchNode (#150) 将 Pass 1 帧直接路由到输出以进行快速预览。
输出视频尺寸#
宽度和高度控制驱动 Pass 2 和扭曲噪声生成器的潜在分辨率。这些值影响 VOID 视频修复 ComfyUI 的清晰度、稳定性和计算负载。选择与您的内容目标和可用内存匹配的尺寸。整个管道中使用相同的尺寸以保持运动和掩码对齐。
跳过 Pass 2#
当您需要快速检查时，使用跳过控制以便 VOID 视频修复 ComfyUI 重用 Pass 1 而不运行 Pass 2。ComfySwitchNode (#150) 自动选择 Pass 1 和 Pass 2 图像之间。这对于粗剪或在您调整掩码措辞或提示时很有用。重新启用 Pass 2 以锁定时间一致性以进行最终渲染。
修剪音频#
如果您的剪辑有音频，VOID 视频修复 ComfyUI 将其修剪并重新附加，以便输出长度与处理的片段匹配。TrimAudioDuration (#158) 保持声音同步，ComfySwitchNode (#174) 安全处理无声剪辑。来自 GetVideoComponents (#166) 的 fps 驱动 Pass 1 和 Pass 2 的 CreateVideo 节点以避免漂移。正确设置“视频有音频吗？”开关以获得预期结果。
ComfyUI VOID 视频修复 ComfyUI 工作流程中的关键节点#
SAM3_Detect (#75)#
从简短的 SAM3 短语生成对象掩码。如果掩码过松或过紧，请完善措辞以更好地描述目标及其上下文。您还可以调整内部精炼控制以在需要时锐化边缘。强掩码使后续修复更稳定。
VOIDInpaintConditioning (#10)#
从您的正面提示、负面提示、VAE、帧和 SAM3 掩码构建条件包。正面提示应描述保留的场景；避免使用“去除 X”这样的措辞。仅在一致的伪影出现时使用负面提示。生成的潜在和条件信号为两个通道提供支持。
SamplerCustomAdvanced (#49) - Pass 1#
使用随机噪声运行 VOID 采样的第一个通道。噪声种子控制可重复性；当您想要不同的填充图案时更改它。保持采样器和调度器与 Pass 1 UNet 配对。在精炼前检查此通道以验证构图和基本运动。
VOIDWarpedNoise (#31)#
使用从 Pass 1 帧计算的 RAFT 光流创建时间对齐的噪声。这将运动线索保留在 Pass 2 中并减少闪烁。如果运动看起来不稳定，请重新检查掩码质量或在 Pass 1 中尝试不同的种子以生成更好的扭曲基础。
SamplerCustomAdvanced (#35) - Pass 2#
从扭曲噪声开始精炼修复区域。使用它来锁定纹理并在时间上稳定细节。当输出已经稳定时，您可以跳过 Pass 2 来节省时间；否则，保持启用以进行最终交付。
ComfySwitchNode (#150) - 跳过控制#
在最终输出中在 Pass 1 和 Pass 2 帧之间切换。使用此功能进行质量 A/B 检查或在调整提示和 SAM3 掩码时加快迭代。关闭它以获得最终的 VOID 视频修复 ComfyUI 结果。
可选附加功能#
- 为移除后的世界编写正面提示，例如“空厨房台面，日光，干净的瓷砖”而不是“移除杯子”。
- 保持 SAM3 短语具体，例如“穿蓝色夹克的人”或“桌上的红色杯子”，并在小编辑后重新运行以确认掩码预览中的覆盖。
- 使用起始帧和持续时间将处理限制在相关部分；长剪辑最好分段处理。
- 为草稿跳过 Pass 2，然后在 VOID 视频修复 ComfyUI 中启用最终稳定。
- 调整宽度和高度以在细节和 GPU 内存之间取得平衡；更高的分辨率看起来更清晰但计算成本更高。
致谢#
此工作流程实现并构建在以下作品和资源之上。我们感谢 Netflix 提供的 VOID 模型，Comfy-Org 提供的 VOID 和 SAM3.1 模型文件，以及 RunComfy 的 Cloud Save 工作流程源的贡献和维护。有关权威细节，请参阅下面链接的原始文档和存储库。
资源#
- Netflix/void-model
- GitHub: netflix/void-model
- Comfy-Org/void-model
- Hugging Face: Comfy-Org/void-model
- Comfy-Org/sam3.1
- Hugging Face: Comfy-Org/sam3.1
- RunComfy/Cloud Save source
- 文档 / 发行说明: Cloud Save source
注意：引用模型、数据集和代码的使用受其作者和维护者提供的各自许可证和条款的约束。