DiffuEraser | Restauration de Vidéo

Description du Workflow de Restauration Vidéo de ComfyUI DiffuEraser

Qu'est-ce que le Workflow ComfyUI DiffuEraser ?

DiffuEraser est une solution de restauration vidéo de pointe qui élimine sans effort les objets indésirables des vidéos tout en préservant la cohérence temporelle. Utilisant un modèle puissant de restauration par diffusion, DiffuEraser reconstruit les zones manquantes avec un contenu contextuellement précis. Ce workflow s'intègre avec Segment Anything 2 (SAM2) pour la génération automatique de masques, éliminant le besoin de masques créés manuellement.

DiffuEraser utilise un UNet de débruitage accompagné d'une branche auxiliaire BrushNet, intégrant une attention temporelle pour maintenir la cohérence des cadres. En tirant parti des informations préalables, il réduit les hallucinations et les artefacts, assurant une élimination impeccable des objets.

L**intégration SAM2** par Runcomfy Crew automatise la création de masques en utilisant une interface de sélection par points, permettant aux utilisateurs de marquer les objets à supprimer sans créer manuellement de masques. Cela simplifie considérablement le workflow de restauration.

Avantages du Workflow DiffuEraser

• Reconstruction de haute qualité avec intégration naturelle de scène.
• Génération automatique de masques via SAM2, réduisant l'effort manuel.
• Cohérence temporelle pour une restauration sans couture à travers les cadres.
• Sélection flexible d'objets avec une interface basée sur des points.
• Résultats de qualité professionnelle avec un minimum d'intervention utilisateur.
• Hallucinations supprimées en tirant parti des informations préalables.
• Compatible avec les formats vidéo standard pour une intégration sans effort.

Comment Utiliser le Workflow DiffuEraser

Suppression d'Objets avec DiffuEraser

Méthode de Génération Principale : SAM2 + DiffuEraser

• Entrées : Vidéo originale, cadres pour la sélection d'objets via des coordonnées de points
• Idéal pour : Supprimer des objets, des personnes, des filigranes ou d'autres éléments indésirables
• Caractéristiques :
  • Utilise SAM2 pour la génération automatique de masques
  • Produit une restauration naturelle avec une haute fidélité visuelle
  • Assure la cohérence temporelle à travers tous les cadres

Exemple de Workflow

1. Préparer les entrées
   • Dans Load Video Node : Téléchargez votre vidéo source
   • Dans Points Editor : Chargez le premier cadre pour ajouter des points positifs (verts) pour marquer les objets à supprimer
2. Affinement (Optionnel)
   • Dans DiffuEraserSampler ajustez mask_dilation_iter pour un masquage précis
   • Modifiez crf dans Video Combine pour une qualité de sortie supérieure
3. Sortie
   • Dans Video Combine : trouvez l'aperçu et enregistrez-le sur votre machine locale

Méthode Alternative : Création Manuelle de Masques

• Entrées : Vidéo de masque pré-créée.
• Idéal pour : Utilisateurs nécessitant un contrôle précis sur les régions masquées.
• Caractéristiques :
  • Nécessite la création manuelle de masques.
  • Offre un contrôle total sur la sélection des objets.
  • Idéal pour des scènes complexes ou des workflows artistiques.

Référence des Paramètres pour DiffuEraser

• DiffuEraserLoader :
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Modèle de base Stable Diffusion.
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA pour une restauration améliorée.
• DiffuEraserSampler :
  • seed: [random] - Contrôle la variabilité de génération.
  • num_inference_steps: [2] - Des valeurs plus élevées améliorent la qualité.
  • guidance_scale: [0] - Contrôle l'adhésion aux informations préalables.
  • video_length: [10] - Définit les cadres traités.
  • mask_dilation_iter: [8] - Étend la couverture du masque.
  • ref_stride: [10] - Stride de cadre de référence pour la cohérence temporelle.
  • neighbor_length: [10] - Définit les cadres utilisés pour référence.
  • subvideo_length: [50] - Max de cadres traités par lot.
  • seg_repo: [briaai/RMBG-2.0] - Modèle de suppression d'arrière-plan.
• Video Combine :
  • frame_rate: [1] - Correspond au taux de cadre source.
  • format: [video/h264-mp4] - Format de sortie.
  • crf: [19] - Contrôle la qualité de compression vidéo.

Optimisation Avancée avec DiffuEraser

• Optimisation des Performances :
  • Réduisez subvideo_length pour un traitement plus rapide.
  • Diminuez num_inference_steps pour accélérer la génération.
• Améliorations de Qualité :
  • Augmentez mask_dilation_iter pour améliorer la couverture du masque.
  • Ajustez neighbor_length pour des améliorations d'objets en mouvement.

Conseils d'Utilisation

1. Utilisez Points Editor pour marquer plusieurs points sur l'objet cible.
2. Ajoutez des points négatifs (rouges) si SAM2 inclut des zones indésirables.
3. Pour les objets en mouvement, marquez des points sur plusieurs cadres.
4. Les arrière-plans plus simples donnent de meilleurs résultats de restauration.
5. Réduisez video_length et subvideo_length pour les vidéos plus longues afin d'éviter les problèmes de mémoire.

Plus d'Informations

• Pour des guides détaillés et des mises à jour sur DiffuEraser, visitez DiffuEraser
• Pour l'intégration ComfyUI de DiffuEraser, visitez ComfyUI DiffuEraser
• Pour des guides détaillés sur SAM2, visitez SAM2 sur RunComfy

Crédit aux Auteurs Originaux

DiffuEraser a été créé par Xiaowen Li, Haolan Xue, Peiran Ren, et Liefeng Bo du Tongyi Lab, Alibaba Group, avec l'intégration ComfyUI par smthemex. Runcomfy Crew a amélioré le workflow avec la génération automatique de masques via SAM2. Tout le crédit revient aux auteurs originaux pour leurs contributions révolutionnaires.