DiffuEraser est une solution de restauration vidéo de pointe qui élimine sans effort les objets indésirables des vidéos tout en préservant la cohérence temporelle. Utilisant un modèle puissant de restauration par diffusion, DiffuEraser reconstruit les zones manquantes avec un contenu contextuellement précis. Ce workflow s'intègre avec Segment Anything 2 (SAM2) pour la génération automatique de masques, éliminant le besoin de masques créés manuellement.
DiffuEraser utilise un UNet de débruitage accompagné d'une branche auxiliaire BrushNet, intégrant une attention temporelle pour maintenir la cohérence des cadres. En tirant parti des informations préalables, il réduit les hallucinations et les artefacts, assurant une élimination impeccable des objets.
Lintégration SAM2 par Runcomfy Crew automatise la création de masques en utilisant une interface de sélection par points, permettant aux utilisateurs de marquer les objets à supprimer sans créer manuellement de masques. Cela simplifie considérablement le workflow de restauration.
mask_dilation_iter pour un masquage préciscrf dans Video Combine pour une qualité de sortie supérieure
checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Modèle de base Stable Diffusion.lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA pour une restauration améliorée.seed: [random] - Contrôle la variabilité de génération.num_inference_steps: [2] - Des valeurs plus élevées améliorent la qualité.guidance_scale: [0] - Contrôle l'adhésion aux informations préalables.video_length: [10] - Définit les cadres traités.mask_dilation_iter: [8] - Étend la couverture du masque.ref_stride: [10] - Stride de cadre de référence pour la cohérence temporelle.neighbor_length: [10] - Définit les cadres utilisés pour référence.subvideo_length: [50] - Max de cadres traités par lot.seg_repo: [briaai/RMBG-2.0] - Modèle de suppression d'arrière-plan.frame_rate: [1] - Correspond au taux de cadre source.format: [video/h264-mp4] - Format de sortie.crf: [19] - Contrôle la qualité de compression vidéo.subvideo_length pour un traitement plus rapide.num_inference_steps pour accélérer la génération.mask_dilation_iter pour améliorer la couverture du masque.neighbor_length pour des améliorations d'objets en mouvement.video_length et subvideo_length pour les vidéos plus longues afin d'éviter les problèmes de mémoire.DiffuEraser a été créé par Xiaowen Li, Haolan Xue, Peiran Ren, et Liefeng Bo du Tongyi Lab, Alibaba Group, avec l'intégration ComfyUI par smthemex. Runcomfy Crew a amélioré le workflow avec la génération automatique de masques via SAM2. Tout le crédit revient aux auteurs originaux pour leurs contributions révolutionnaires.
RunComfy est la première ComfyUI plateforme, offrant des ComfyUI en ligne environnement et services, ainsi que des workflows ComfyUI proposant des visuels époustouflants. RunComfy propose également AI Playground, permettant aux artistes d'utiliser les derniers outils d'IA pour créer des œuvres d'art incroyables.
