VOID 視頻修補 ComfyUI：考慮互動的物件移除，實現乾淨且一致的視頻#
此 VOID 視頻修補 ComfyUI 工作流程從影片中移除物件及其視覺互動，保持時間一致性。它結合了 Meta 的 SAM3 文本驅動分割來定義遮罩，並使用 Netflix VOID 的雙通過視頻修補來隨時間填補空洞，產生的結果看起來就像不需要的物件及其周圍效果從未存在過。
創作者、編輯者和 VFX 團隊可以在單幀清理在運動中閃爍或中斷時依賴 VOID 視頻修補 ComfyUI。工作流程輸出兩個片段：Pass 1 作為快速中間結果，Pass 2 作為具有更強時間穩定性的精緻結果。提供源視頻、描述要移除物件的短 SAM3 詞語，以及描述您想保留場景的修補提示。
ComfyUI VOID 視頻修補 ComfyUI 工作流程中的關鍵模型#
- VOID：視頻物件和互動刪除。雙通過擴散進行視頻物件移除，具有時間推理；Netflix 提供的參考實現和檢查點。 GitHub 和 Hugging Face
- Segment Anything Model 3.1 Multiplex (SAM3.1)。文本和可提示的圖像分割，用於生成引導修補的物件遮罩。 Hugging Face
- RAFT：Recurrent All-Pairs Field Transforms。光流用於將 Pass 1 的噪聲扭曲到 Pass 2，因此運動在幀間保持一致。 arXiv 和 VOID 模型包中的權重在 Hugging Face
- CogVideoX VAE。用於在修補過程中編碼和解碼視頻幀的潛在編解碼器。 Hugging Face
- T5-XXL 文本編碼器 (fp16)。語言骨幹，將正負提示轉換為擴散模型的條件。 Hugging Face
如何使用 ComfyUI VOID 視頻修補 ComfyUI 工作流程#
此 VOID 視頻修補 ComfyUI 圖遵循明確的路徑：加載模型和源片段，使用 SAM3 創建物件遮罩，從您的提示和遮罩構建共享條件，運行 Pass 1 來建立內容，然後運行 Pass 2 使用扭曲的噪聲以保持穩定運動。音頻可以選擇性地修剪以匹配處理的片段。工作流程保存 Pass 1 和 Pass 2 視頻，以便您可以比較或快速移動。
模型#
此組加載 VOID 視頻修補 ComfyUI 所需的所有組件。CLIPLoader (#2) 引入 T5-XXL 文本編碼器，VAELoader (#3) 提供 CogVideoX VAE。UNETLoader (#144) 初始化 Pass 1 的 VOID UNet，UNETLoader (#143) 設置 Pass 2 的 VOID UNet。OpticalFlowLoader (#142) 加載 RAFT 模型，稍後在通過之間驅動噪聲扭曲。
輸入視頻（將文件放在 ComfyUI/input/）#
將 Source video (ComfyUI/input/) 加載器指向您的片段，然後 GetVideoComponents (#166) 將其分割為幀、音頻和 fps。ImageFromBatch (#145) 選擇一個代表幀來預覽遮罩。GetImageSize (#43) 和簡單的數學節點計算剪輯長度和索引，以保持一致的切片。提供開始幀和持續時間，以便僅處理您想要的部分。
創建遮罩#
Image Segmentation (SAM3) 子圖為 VOID 視頻修補 ComfyUI 生成每幀物件遮罩。SAM3_Detect (#75) 使用您的 SAM3 文本提示在選定幀上分割物件，CLIPTextEncode (#78) 對短語進行編碼。遮罩在 MaskPreview (#132) 中預覽，以便您可以驗證覆蓋範圍並在需要時調整措辭。乾淨、具體的短語如“桌上的紅色杯子”或“藍色夾克的人”有助於 SAM3 隔離正確的主題。
共享：文本和遮罩條件#
Positive Prompt (CLIPTextEncode (#6)) 應描述移除後的場景，而不是移除的動作。Negative Prompt (CLIPTextEncode (#7)) 可以選擇性地列出您不想要的工件。VOIDInpaintConditioning (#10) 將提示、VAE、進來的幀、您的 SAM3 遮罩和目標尺寸融合為一個潛在條件包，供兩次通過使用。將其視為告訴 VOID 保留什麼以及一旦物件消失後運動和外觀應該感覺如何。
Pass 1：樣本（隨機噪聲 → DDIM）#
VOID 視頻修補 ComfyUI 中的 Pass 1 使用標準隨機噪聲建立合理的填充。RandomNoise (#141) 為過程播種，BasicScheduler (#138) 和 VOIDSampler (#133) 定義擴散時間表，CFGGuider (#140) 將您的提示混合到模型中。SamplerCustomAdvanced (#49) 合成潛在片段，VAEDecode (#45) 將其轉回幀。CreateVideo (#46) 選擇性地附加音頻並寫入中間的 Pass 1 視頻，您可以在精緻前檢查。
Pass 2：樣本（扭曲噪聲 → DDIM）#
Pass 2 通過從 Pass 1 的噪聲扭曲而非新隨機性初始化，來改善時間穩定性。VOIDWarpedNoise (#31) 使用 RAFT 光流和 Pass 1 幀來創建隨時間對齊的噪聲，然後 VOIDWarpedNoiseSource (#32) 將其輸入採樣。CFGGuider (#136)、BasicScheduler (#137) 和 VOIDSampler (#134) 設置第二個採樣器，SamplerCustomAdvanced (#35) 精緻修補的內容。VAEDecode (#36) 產生最終幀。如果您切換跳過，ComfySwitchNode (#150) 將 Pass 1 幀直接路由到輸出以進行快速預覽。
輸出視頻尺寸#
寬度和高度控制驅動 Pass 2 和扭曲噪聲生成器的潛在分辨率。這些值影響 VOID 視頻修補 ComfyUI 的清晰度、穩定性和計算負載。選擇符合您的內容目標和可用內存的尺寸。在整條管道中一致使用相同的尺寸，以保持運動和遮罩對齊。
跳過 Pass 2#
當您需要快速檢查時，使用跳過控制讓 VOID 視頻修補 ComfyUI 重用 Pass 1 而不運行 Pass 2。ComfySwitchNode (#150) 自動選擇 Pass 1 和 Pass 2 圖像。這對於粗剪或當您在調整遮罩措辭或提示時很有用。重新啟用 Pass 2 以鎖定最終渲染的時間一致性。
修剪音頻#
如果您的片段有音頻，VOID 視頻修補 ComfyUI 會修剪並重新附加它，使輸出長度與處理的片段相匹配。TrimAudioDuration (#158) 保持聲音同步，ComfySwitchNode (#174) 安全處理靜音剪輯。GetVideoComponents (#166) 的 fps 驅動 Pass 1 和 Pass 2 CreateVideo 節點，以避免漂移。正確設置“視頻有音頻？”開關以獲得預期結果。
ComfyUI VOID 視頻修補 ComfyUI 工作流程中的關鍵節點#
SAM3_Detect (#75)#
從短 SAM3 詞語生成物件遮罩。如果遮罩太鬆或太緊，調整措辭以更好地描述目標及其背景。您還可以調整內部精緻控件以在需要時使邊緣清晰。強大的遮罩使後續的修補更穩定。
VOIDInpaintConditioning (#10)#
從您的正面提示、負面提示、VAE、幀和 SAM3 遮罩構建條件包。正面提示應描述保留下來的場景；避免使用諸如“移除 X”之類的措辭。只有當一致的工件出現時才使用負面提示。生成的潛在和條件信號供兩次通過使用。
SamplerCustomAdvanced (#49) - Pass 1#
使用隨機噪聲運行 VOID 採樣的第一次通過。噪聲種子控制可重複性；當您想要不同的填充模式時更改它。保持採樣器和調度器與 Pass 1 UNet 配對。檢查此通過以驗證構圖和基本運動，然後再進行精緻。
VOIDWarpedNoise (#31)#
使用從 Pass 1 幀計算的 RAFT 光流創建時間對齊的噪聲。這將運動線索保留到 Pass 2 並減少閃爍。如果運動看起來不穩定，重新檢查遮罩質量或在 Pass 1 中嘗試不同的種子以生成更好的扭曲基礎。
SamplerCustomAdvanced (#35) - Pass 2#
從扭曲噪聲開始精緻修補區域。用它來鎖定紋理並穩定時間上的細節。當輸出已經穩定時，您可以跳過 Pass 2 以節省時間；否則，保持它啟用以進行最終交付。
ComfySwitchNode (#150) - 跳過控制#
在最終輸出中在 Pass 1 和 Pass 2 幀之間切換。使用此功能進行質量 A/B 檢查或在您調整提示和 SAM3 遮罩時加快迭代。關閉它以獲得確定的 VOID 視頻修補 ComfyUI 結果。
可選附加項#
- 為移除後的世界編寫正面提示，例如“空的廚房櫃檯，日光，乾淨的瓷磚”，而不是“移除杯子”。
- 保持 SAM3 短語具體，例如“藍色夾克的人”或“桌上的紅色杯子”，並在小編輯後重新運行以確認遮罩預覽中的覆蓋範圍。
- 使用開始幀和持續時間限制處理到相關部分；長片段最好分段處理。
- 跳過 Pass 2 以進行草稿，然後在 VOID 視頻修補 ComfyUI 中啟用它以進行最終穩定。
- 調整寬度和高度以平衡細節與 GPU 記憶體；更高的分辨率看起來更清晰，但計算成本更高。
致謝#
此工作流程實現並基於以下作品和資源。我們感謝 Netflix 提供的 VOID 模型，Comfy-Org 提供的 VOID 和 SAM3.1 模型文件，以及 RunComfy 的 Cloud Save 工作流程源的貢獻和維護。欲了解權威細節，請參閱以下連結的原始文檔和存儲庫。
資源#
- Netflix/void-model
- GitHub: netflix/void-model
- Comfy-Org/void-model
- Hugging Face: Comfy-Org/void-model
- Comfy-Org/sam3.1
- Hugging Face: Comfy-Org/sam3.1
- RunComfy/Cloud Save source
- Docs / Release Notes: Cloud Save source
注意：使用所引用的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。