DiffuEraser | Video Inpainting

ComfyUI DiffuEraser Video Inpainting Workflow Descrizione

Cos'è il Workflow ComfyUI DiffuEraser?

DiffuEraser è una soluzione all'avanguardia per il video inpainting che rimuove senza soluzione di continuità oggetti indesiderati dai video preservando la coerenza temporale. Utilizzando un potente modello di inpainting basato sulla diffusione, DiffuEraser ricostruisce aree mancanti con contenuti contestualmente accurati. Questo workflow si integra con Segment Anything 2 (SAM2) per la generazione automatica di maschere, eliminando la necessità di maschere create manualmente.

DiffuEraser utilizza un denoising UNet insieme a un ramo ausiliario BrushNet, integrando l'attenzione temporale per mantenere la coerenza dei frame. Sfruttando le informazioni precedenti, riduce le allucinazioni e gli artefatti, garantendo una rimozione degli oggetti impeccabile.

Lintegrazione SAM2 di Runcomfy Crew automatizza la creazione delle maschere utilizzando un'interfaccia di selezione dei punti, consentendo agli utenti di contrassegnare oggetti per la rimozione senza creare manualmente maschere. Questo snellisce significativamente il workflow di inpainting.

Vantaggi del Workflow DiffuEraser

• Ricostruzione di alta qualità con fusione naturale della scena.
• Generazione automatica di maschere tramite SAM2, riducendo lo sforzo manuale.
• Coerenza temporale per un inpainting senza soluzione di continuità attraverso i frame.
• Selezione flessibile degli oggetti con un'interfaccia basata sui punti.
• Risultati di livello professionale con un input minimo dell'utente.
• Allucinazioni soppresse sfruttando le informazioni precedenti.
• Compatibile con formati video standard per un'integrazione senza sforzo.

Come Usare il Workflow DiffuEraser

Rimozione Oggetti con DiffuEraser

Metodo di Generazione Primario: SAM2 + DiffuEraser

• Input: Video originale, frame per la selezione degli oggetti tramite coordinate dei punti
• Ideale per: Rimuovere oggetti, persone, filigrane o altri elementi indesiderati
• Caratteristiche:
  • Utilizza SAM2 per la generazione automatica delle maschere
  • Produce un inpainting naturale con alta fedeltà visiva
  • Garantisce coerenza temporale su tutti i frame

Esempio di Workflow

1. Preparare gli input
   • Nel Load Video Node: Carica il tuo video sorgente
   • Nel Points Editor: Carica il primo frame per aggiungere punti positivi (verdi) per contrassegnare gli oggetti da rimuovere
2. Raffinamento (Opzionale)
   • Nel DiffuEraserSampler regola mask_dilation_iter per un mascheramento preciso
   • Modifica crf in Video Combine per una qualità di output superiore
3. Output
   • In Video Combine: trova l'anteprima e salvala sul tuo computer locale

Metodo Alternativo: Creazione Manuale delle Maschere

• Input: Video della maschera pre-creata.
• Ideale per: Utenti che necessitano di un controllo preciso sulle regioni mascherate.
• Caratteristiche:
  • Richiede la creazione manuale delle maschere.
  • Offre pieno controllo sulla selezione degli oggetti.
  • Ideale per scene complesse o workflow artistici.

Riferimento ai Parametri per DiffuEraser

• DiffuEraserLoader:
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Modello base di Stable Diffusion.
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA per un inpainting migliorato.
• DiffuEraserSampler:
  • seed: [random] - Controlla la variabilità della generazione.
  • num_inference_steps: [2] - Valori più alti migliorano la qualità.
  • guidance_scale: [0] - Controlla l'aderenza alle informazioni precedenti.
  • video_length: [10] - Definisce i frame elaborati.
  • mask_dilation_iter: [8] - Espande la copertura della maschera.
  • ref_stride: [10] - Passo del frame di riferimento per la coerenza temporale.
  • neighbor_length: [10] - Definisce i frame utilizzati per riferimento.
  • subvideo_length: [50] - Massimo dei frame elaborati in un batch.
  • seg_repo: [briaai/RMBG-2.0] - Modello di rimozione dello sfondo.
• Video Combine:
  • frame_rate: [1] - Corrisponde al frame rate sorgente.
  • format: [video/h264-mp4] - Formato di output.
  • crf: [19] - Controlla la qualità della compressione video.

Ottimizzazione Avanzata con DiffuEraser

• Ottimizzazione delle Prestazioni:
  • Riduci subvideo_length per una elaborazione più veloce.
  • Diminuisci num_inference_steps per accelerare la generazione.
• Miglioramenti della Qualità:
  • Aumenta mask_dilation_iter per migliorare la copertura della maschera.
  • Regola neighbor_length per i perfezionamenti degli oggetti in movimento.

Consigli per l'Uso

1. Usa Points Editor per contrassegnare più punti sull'oggetto target.
2. Aggiungi punti negativi (rossi) se SAM2 include aree indesiderate.
3. Per oggetti in movimento, contrassegna punti su diversi frame.
4. Gli sfondi più semplici producono risultati di inpainting migliori.
5. Riduci video_length e subvideo_length per video più lunghi per evitare problemi di memoria.

Maggiori Informazioni

• Per guide dettagliate e aggiornamenti su DiffuEraser, visita DiffuEraser
• Per l'integrazione ComfyUI di DiffuEraser, visita ComfyUI DiffuEraser
• Per guide dettagliate su SAM2, visita SAM2 su RunComfy

Crediti agli Autori Originali

DiffuEraser è stato creato da Xiaowen Li, Haolan Xue, Peiran Ren e Liefeng Bo del Tongyi Lab, Alibaba Group, con l'integrazione ComfyUI da parte di smthemex. Runcomfy Crew ha migliorato il workflow con la generazione automatica di maschere tramite SAM2. Tutti i crediti vanno agli autori originali per i loro contributi rivoluzionari.