VOID Video Inpainting ComfyUI: eliminación de objetos consciente de la interacción para videos limpios y consistentes#
Este flujo de trabajo de VOID Video Inpainting ComfyUI elimina objetos y sus interacciones visuales de un clip con coherencia temporal. Combina la segmentación basada en texto de Meta’s SAM3 para definir la máscara con la pintura de video en dos pasadas de Netflix VOID para llenar el hueco con el tiempo, generando resultados que parecen que el objeto no deseado y sus efectos cercanos nunca estuvieron allí.
Los creadores, editores y equipos de VFX pueden confiar en VOID Video Inpainting ComfyUI cuando la limpieza de un solo cuadro parpadea o se rompe con el movimiento. El flujo de trabajo produce dos clips: Pase 1 como un intermedio rápido y Pase 2 como un resultado refinado con una estabilidad temporal más fuerte. Proporcione un video fuente, una frase corta de SAM3 que describa el objeto a eliminar y un aviso de repintado que describa la escena que desea conservar.
Modelos clave en el flujo de trabajo ComfyUI VOID Video Inpainting ComfyUI#
- VOID: Eliminación de Objeto e Interacción de Video. Difusión en dos pasadas para la eliminación de objetos de video con razonamiento temporal; la implementación de referencia y los puntos de control son proporcionados por Netflix. GitHub y Hugging Face
- Segment Anything Model 3.1 Multiplex (SAM3.1). Segmentación de imágenes basada en texto y aviso utilizada para generar la máscara de objeto que guía la pintura. Hugging Face
- RAFT: Transformaciones de Campo de Todos los Pares Recurrentes. Flujo óptico utilizado para deformar el ruido de Pase 1 a Pase 2 para que el movimiento se mantenga consistente entre cuadros. arXiv y pesos en el paquete del modelo VOID en Hugging Face
- CogVideoX VAE. Codec latente para codificar y decodificar cuadros de video durante la pintura. Hugging Face
- Codificador de texto T5-XXL (fp16). Esqueleto de lenguaje que convierte los avisos positivos y negativos en condicionamiento para el modelo de difusión. Hugging Face
Cómo usar el flujo de trabajo ComfyUI VOID Video Inpainting ComfyUI#
Este gráfico de VOID Video Inpainting ComfyUI sigue un camino claro: cargar modelos y el clip fuente, crear una máscara de objeto con SAM3, construir un condicionamiento compartido a partir de sus avisos y máscara, ejecutar Pase 1 para establecer contenido, luego ejecutar Pase 2 con ruido deformado para un movimiento estable. El audio se recorta opcionalmente para coincidir con el segmento procesado. El flujo de trabajo guarda ambos videos de Pase 1 y Pase 2 para que pueda comparar o moverse rápidamente.
Modelos#
Este grupo carga todos los componentes necesarios para VOID Video Inpainting ComfyUI. CLIPLoader (#2) trae el codificador de texto T5-XXL, y VAELoader (#3) proporciona el CogVideoX VAE. UNETLoader (#144) inicializa el VOID UNet para Pase 1 y UNETLoader (#143) configura el VOID UNet para Pase 2. OpticalFlowLoader (#142) carga el modelo RAFT que luego impulsa la deformación del ruido entre pasadas.
Videos de entrada (colocar archivos en ComfyUI/input/)#
Apunte el cargador Source video (ComfyUI/input/) a su clip, luego GetVideoComponents (#166) lo divide en cuadros, audio y fps. ImageFromBatch (#145) selecciona un cuadro representativo para previsualizar la máscara. GetImageSize (#43) y nodos matemáticos simples calculan la longitud del clip e índices para un corte consistente. Proporcione el cuadro inicial y la duración para apuntar solo a la sección que desea procesar.
Crear Máscara#
El subgrafo Image Segmentation (SAM3) genera una máscara de objeto por cuadro para VOID Video Inpainting ComfyUI. SAM3_Detect (#75) usa su aviso de texto SAM3 para segmentar el objeto en el cuadro seleccionado, con CLIPTextEncode (#78) codificando la frase. La máscara se previsualiza en MaskPreview (#132) para que pueda verificar la cobertura y refinar la redacción si es necesario. Una frase limpia y específica como "taza roja en la mesa" o "persona con chaqueta azul" ayuda a SAM3 a aislar el sujeto correcto.
Compartido: Condicionamiento de Texto y Máscara#
Positive Prompt (CLIPTextEncode (#6)) debe describir la escena como debería verse después de la eliminación, no el acto de eliminación. Negative Prompt (CLIPTextEncode (#7)) enumera opcionalmente los artefactos que no desea. VOIDInpaintConditioning (#10) fusiona los avisos, VAE, cuadros entrantes, su máscara SAM3 y las dimensiones objetivo en un paquete de condicionamiento latente utilizado por ambas pasadas. Piense en esto como decirle a VOID qué conservar y cómo deberían sentirse el movimiento y la apariencia una vez que el objeto se haya ido.
Pase 1: Muestra (Ruido Aleatorio → DDIM)#
Pase 1 en VOID Video Inpainting ComfyUI establece un relleno plausible utilizando ruido aleatorio estándar. RandomNoise (#141) inicia el proceso, BasicScheduler (#138) y VOIDSampler (#133) definen el cronograma de difusión, y CFGGuider (#140) mezcla sus avisos en el modelo. SamplerCustomAdvanced (#49) sintetiza el clip latente, y VAEDecode (#45) lo convierte nuevamente en cuadros. CreateVideo (#46) adjunta opcionalmente audio y escribe un video intermedio de Pase 1 que puede inspeccionar antes de la refinación.
Pase 2: Muestra (Ruido Deformado → DDIM)#
Pase 2 mejora la estabilidad temporal al inicializar con ruido deformado de Pase 1 en lugar de aleatoriedad fresca. VOIDWarpedNoise (#31) utiliza el flujo óptico RAFT con cuadros de Pase 1 para crear ruido alineado a lo largo del tiempo, luego VOIDWarpedNoiseSource (#32) lo alimenta en muestreo. CFGGuider (#136), BasicScheduler (#137), y VOIDSampler (#134) configuran el segundo muestreador, y SamplerCustomAdvanced (#35) refina el contenido repintado. VAEDecode (#36) produce cuadros finales. Si activa el salto, ComfySwitchNode (#150) enruta los cuadros de Pase 1 directamente a la salida para vistas previas rápidas.
Tamaño del Video de Salida#
Los controles de ancho y alto impulsan la resolución latente para Pase 2 y el generador de ruido deformado. Estos valores influyen en la nitidez, estabilidad y carga computacional en VOID Video Inpainting ComfyUI. Elija dimensiones que coincidan con sus objetivos de contenido y memoria disponible. Se utiliza el mismo tamaño de manera consistente en toda la canalización para mantener el movimiento y las máscaras alineadas.
Saltar Pase 2#
Cuando necesite una verificación rápida, use el control de salto para que VOID Video Inpainting ComfyUI reutilice Pase 1 sin ejecutar Pase 2. ComfySwitchNode (#150) selecciona automáticamente entre las imágenes de Pase 1 y Pase 2. Esto es útil para cortes aproximados o cuando está iterando en la redacción de máscaras o avisos. Vuelva a activar Pase 2 para asegurar la consistencia temporal para el renderizado final.
Recortar Audio#
Si su clip tiene audio, VOID Video Inpainting ComfyUI lo recorta y vuelve a adjuntar para que la longitud de salida coincida con el segmento procesado. TrimAudioDuration (#158) mantiene el sonido sincronizado, y ComfySwitchNode (#174) maneja clips silenciosos de manera segura. Los fps de GetVideoComponents (#166) impulsan ambos nodos CreateVideo de Pase 1 y Pase 2 para evitar el desplazamiento. Configure correctamente el interruptor “video tiene audio?” para obtener el resultado esperado.
Nodos clave en el flujo de trabajo ComfyUI VOID Video Inpainting ComfyUI#
SAM3_Detect (#75)#
Genera la máscara de objeto a partir de una frase corta de SAM3. Si la máscara es demasiado suelta o ajustada, refine la redacción para describir mejor el objetivo y su contexto. También puede ajustar los controles internos de refinamiento para afinar los bordes cuando sea necesario. Las máscaras fuertes hacen que la pintura posterior sea más estable.
VOIDInpaintConditioning (#10)#
Construye el paquete de condicionamiento a partir de su aviso positivo, aviso negativo, VAE, cuadros y máscara SAM3. El aviso positivo debe describir la escena que permanece; evite frases como “remove X.” Use el aviso negativo solo cuando aparezcan artefactos consistentes. Las señales latentes y de condicionamiento resultantes alimentan ambas pasadas.
SamplerCustomAdvanced (#49) - Pase 1#
Ejecuta el muestreo VOID para la primera pasada con ruido aleatorio. La semilla de ruido controla la repetibilidad; cámbiela cuando desee un patrón de relleno diferente. Mantenga el muestreador y el programador emparejados con el UNet de Pase 1. Inspeccione este pase para validar la composición y el movimiento básico antes de la refinación.
VOIDWarpedNoise (#31)#
Crea ruido alineado temporalmente utilizando el flujo óptico RAFT calculado a partir de cuadros de Pase 1. Esto preserva las señales de movimiento en Pase 2 y reduce el parpadeo. Si el movimiento parece inestable, revise la calidad de la máscara o intente una semilla diferente en Pase 1 para generar una mejor base para la deformación.
SamplerCustomAdvanced (#35) - Pase 2#
Refina la región repintada comenzando desde el ruido deformado. Úselo para asegurar texturas y estabilizar detalles finos a lo largo del tiempo. Cuando las salidas ya son estables, puede omitir Pase 2 para ahorrar tiempo; de lo contrario, manténgalo habilitado para la entrega final.
ComfySwitchNode (#150) - Control de salto#
Alterna entre los cuadros de Pase 1 y Pase 2 para la salida final. Úselo para verificar la calidad A/B o para acelerar las iteraciones mientras ajusta los avisos y la máscara SAM3. Apáguelo para obtener el resultado definitivo de VOID Video Inpainting ComfyUI.
Extras opcionales#
- Escriba avisos positivos para el mundo que desea ver después de la eliminación, por ejemplo, “encimera de cocina vacía, luz del día, azulejos limpios” en lugar de “remove mug.”
- Mantenga las frases de SAM3 específicas, como “persona con chaqueta azul” o “taza roja en la mesa,” y vuelva a ejecutar después de pequeñas ediciones para confirmar la cobertura en la previsualización de la máscara.
- Use el cuadro de inicio y la duración para limitar el procesamiento a la sección relevante; los clips largos se manejan mejor en segmentos.
- Omita Pase 2 para borradores, luego actívelo para la estabilización final en VOID Video Inpainting ComfyUI.
- Ajuste el ancho y la altura para equilibrar el detalle con la memoria de la GPU; las resoluciones más altas se ven más nítidas pero cuestan más cómputo.
Agradecimientos#
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos profundamente a Netflix por el modelo VOID, a Comfy-Org por los archivos de modelo VOID y SAM3.1, y a RunComfy por la fuente del flujo de trabajo Cloud Save por sus contribuciones y mantenimiento. Para detalles autorizados, consulte la documentación original y los repositorios vinculados a continuación.
Recursos#
- Netflix/void-model
- GitHub: netflix/void-model
- Comfy-Org/void-model
- Hugging Face: Comfy-Org/void-model
- Comfy-Org/sam3.1
- Hugging Face: Comfy-Org/sam3.1
- RunComfy/Cloud Save source
- Docs / Release Notes: Cloud Save source
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.
