DiffuEraser | Pintado de Video

Descripción del Flujo de Trabajo de Pintado de Video de ComfyUI DiffuEraser

¿Qué es el Flujo de Trabajo de ComfyUI DiffuEraser?

DiffuEraser es una solución de pintado de video de última generación que elimina sin problemas objetos no deseados de videos mientras preserva la consistencia temporal. Usando un poderoso modelo de pintado basado en difusión, DiffuEraser reconstruye áreas faltantes con contenido contextualmente preciso. Este flujo de trabajo se integra con Segment Anything 2 (SAM2) para la generación automática de máscaras, eliminando la necesidad de crear máscaras manualmente.

DiffuEraser utiliza un UNet de eliminación de ruido junto con una rama auxiliar BrushNet, integrando atención temporal para mantener la consistencia entre fotogramas. Al aprovechar la información previa, reduce alucinaciones y artefactos, asegurando una eliminación de objetos impecable.

La **integración SAM2** por Runcomfy Crew automatiza la creación de máscaras usando una interfaz de selección de puntos, permitiendo a los usuarios marcar objetos para su eliminación sin crear máscaras manualmente. Esto simplifica significativamente el flujo de trabajo de pintado.

Beneficios del Flujo de Trabajo de DiffuEraser

• Reconstrucción de alta calidad con mezcla natural de escenas.
• Generación automática de máscaras a través de SAM2, reduciendo el esfuerzo manual.
• Consistencia temporal para un pintado sin problemas a través de fotogramas.
• Selección de objetos flexible con una interfaz basada en puntos.
• Resultados de calidad profesional con mínima intervención del usuario.
• Supresión de alucinaciones aprovechando la información previa.
• Compatible con formatos de video estándar para una integración sin esfuerzo.

Cómo Usar el Flujo de Trabajo DiffuEraser

Eliminación de Objetos con DiffuEraser

Método de Generación Primario: SAM2 + DiffuEraser

• Entradas: Video original, fotogramas para selección de objetos mediante coordenadas de puntos
• Mejor para: Eliminar objetos, personas, marcas de agua u otros elementos no deseados
• Características:
  • Usa SAM2 para la generación automática de máscaras
  • Produce un pintado natural con alta fidelidad visual
  • Asegura consistencia temporal a través de todos los fotogramas

Ejemplo de Flujo de Trabajo

1. Preparar entradas
   • En Nodo de Carga de Video: Suba su video fuente
   • En Editor de Puntos: Cargue el primer fotograma para agregar puntos positivos (verde) para marcar objetos para su eliminación
2. Refinamiento (Opcional)
   • En DiffuEraserSampler ajuste mask_dilation_iter para un enmascaramiento preciso
   • Modifique crf en Video Combine para una mayor calidad de salida
3. Salida
   • En Video Combine: encuentre la vista previa y guárdela en su máquina local

Método Alternativo: Creación Manual de Máscaras

• Entradas: Video de máscara pre-creado.
• Mejor para: Usuarios que necesiten un control preciso sobre las regiones enmascaradas.
• Características:
  • Requiere la creación manual de máscaras.
  • Ofrece control total sobre la selección de objetos.
  • Ideal para escenas complejas o flujos de trabajo artísticos.

Referencia de Parámetros para DiffuEraser

• DiffuEraserLoader:
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Modelo base de Stable Diffusion.
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA para pintado mejorado.
• DiffuEraserSampler:
  • seed: [random] - Controla la variabilidad de generación.
  • num_inference_steps: [2] - Valores más altos mejoran la calidad.
  • guidance_scale: [0] - Controla la adherencia a la información previa.
  • video_length: [10] - Define los fotogramas procesados.
  • mask_dilation_iter: [8] - Expande la cobertura de la máscara.
  • ref_stride: [10] - Paso de fotograma de referencia para consistencia temporal.
  • neighbor_length: [10] - Define los fotogramas utilizados para referencia.
  • subvideo_length: [50] - Máximo de fotogramas procesados en un lote.
  • seg_repo: [briaai/RMBG-2.0] - Modelo de eliminación de fondo.
• Video Combine:
  • frame_rate: [1] - Coincide con la tasa de fotogramas de origen.
  • format: [video/h264-mp4] - Formato de salida.
  • crf: [19] - Controla la calidad de compresión del video.

Optimización Avanzada con DiffuEraser

• Optimización del Rendimiento:
  • Reduzca subvideo_length para un procesamiento más rápido.
  • Disminuya num_inference_steps para acelerar la generación.
• Mejoras de Calidad:
  • Aumente mask_dilation_iter para mejorar la cobertura de la máscara.
  • Ajuste neighbor_length para refinamientos de objetos en movimiento.

Consejos de Uso

1. Use Editor de Puntos para marcar múltiples puntos en el objeto objetivo.
2. Agregue puntos negativos (rojo) si SAM2 incluye áreas no deseadas.
3. Para objetos en movimiento, marque puntos a través de varios fotogramas.
4. Fondos más simples producen mejores resultados de pintado.
5. Reduzca video_length y subvideo_length para videos más largos para evitar problemas de memoria.

Más Información

• Para guías detalladas y actualizaciones sobre DiffuEraser, visite DiffuEraser
• Para la integración de DiffuEraser en ComfyUI, visite ComfyUI DiffuEraser
• Para guías detalladas sobre SAM2, visite SAM2 en RunComfy

Crédito a los Autores Originales

DiffuEraser fue creado por Xiaowen Li, Haolan Xue, Peiran Ren y Liefeng Bo del Tongyi Lab, Alibaba Group, con integración en ComfyUI por smthemex. Runcomfy Crew mejoró el flujo de trabajo con la generación automática de máscaras a través de SAM2. Todo el crédito va a los autores originales por sus contribuciones innovadoras.