DiffuEraser | 비디오 인페인팅

ComfyUI DiffuEraser 비디오 인페인팅 워크플로우 설명

ComfyUI DiffuEraser 워크플로우란 무엇인가요?

DiffuEraser는 비디오에서 불필요한 객체를 매끄럽게 제거하면서 시간적 일관성을 유지하는 최첨단 비디오 인페인팅 솔루션입니다. 강력한 확산 기반 인페인팅 모델을 사용하여, DiffuEraser는 누락된 영역을 맥락적으로 정확한 콘텐츠로 재구성합니다. 이 워크플로우는 **Segment Anything 2 (SAM2)**와 통합되어 자동 마스크 생성을 통해 수동으로 생성된 마스크의 필요성을 제거합니다.

DiffuEraser는 노이즈 제거 UNet과 보조적인 BrushNet 분기를 사용하며, 프레임 일관성을 유지하기 위해 시간적 주의를 통합합니다. 사전 정보를 활용하여 환각과 아티팩트를 줄여 완벽한 객체 제거를 보장합니다.

은 Runcomfy Crew에 의해 점 선택 인터페이스를 사용하여 마스크 생성을 자동화하며, 사용자가 수동으로 마스크를 생성하지 않고도 제거할 객체를 표시할 수 있도록 합니다. 이는 인페인팅 워크플로우를 크게 간소화합니다.

DiffuEraser 워크플로우의 장점

• 자연스러운 장면 블렌딩을 통한 고품질 재구성.
• SAM2를 통한 자동 마스크 생성으로 수동 작업 감소.
• 프레임 전반에 걸친 매끄러운 인페인팅을 위한 시간적 일관성.
• 점 기반 인터페이스를 통한 유연한 객체 선택.
• 최소한의 사용자 입력으로 전문적인 결과 제공.
• 사전 정보를 활용하여 환각 억제.
• 표준 비디오 포맷과 호환되어 손쉬운 통합.

DiffuEraser 워크플로우 사용법

DiffuEraser를 사용한 객체 제거

주요 생성 방법: SAM2 + DiffuEraser

• 입력: 점 좌표를 통해 객체 선택을 위한 원본 비디오, 프레임
• 최적 사용: 객체, 사람, 워터마크 또는 기타 불필요한 요소 제거
• 특성:
  • 자동 마스크 생성을 위한 SAM2 사용
  • 높은 시각적 충실도의 자연스러운 인페인팅 생성
  • 모든 프레임에 걸쳐 시간적 일관성 보장

예제 워크플로우

1. 입력 준비
   • 비디오 노드 로드: 소스 비디오 업로드
   • 포인트 편집기: 제거할 객체를 표시하기 위해 첫 번째 프레임을 로드하여 긍정적 포인트(녹색) 추가
2. 세부 조정 (선택 사항)
   • DiffuEraserSampler에서 mask_dilation_iter를 조정하여 정밀한 마스킹
   • 비디오 결합에서 crf를 수정하여 출력 품질 향상
3. 출력
   • 비디오 결합: 미리보기를 찾아 로컬 머신에 저장

대체 방법: 수동 마스크 생성

• 입력: 사전 생성된 마스크 비디오.
• 최적 사용: 마스크 영역에 대한 정밀한 제어가 필요한 사용자.
• 특성:
  • 수동 마스크 생성 필요.
  • 객체 선택에 대한 전체 제어 제공.
  • 복잡한 장면이나 예술적 워크플로우에 이상적.

DiffuEraser를 위한 매개변수 참조

• DiffuEraserLoader:
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion 기본 모델.
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - 향상된 인페인팅을 위한 LoRA.
• DiffuEraserSampler:
  • seed: [random] - 생성 가변성 제어.
  • num_inference_steps: [2] - 높은 값이 품질 향상.
  • guidance_scale: [0] - 사전 정보에 대한 준수 제어.
  • video_length: [10] - 처리된 프레임 정의.
  • mask_dilation_iter: [8] - 마스크 범위 확장.
  • ref_stride: [10] - 시간적 일관성을 위한 참조 프레임 간격.
  • neighbor_length: [10] - 참조에 사용되는 프레임 정의.
  • subvideo_length: [50] - 배치에서 처리되는 최대 프레임.
  • seg_repo: [briaai/RMBG-2.0] - 배경 제거 모델.
• 비디오 결합:
  • frame_rate: [1] - 소스 프레임 속도 일치.
  • format: [video/h264-mp4] - 출력 형식.
  • crf: [19] - 비디오 압축 품질 제어.

DiffuEraser로 고급 최적화

• 성능 최적화:
  • 빠른 처리를 위해 subvideo_length를 줄이세요.
  • 생성 속도를 높이기 위해 num_inference_steps를 낮추세요.
• 품질 향상:
  • 마스크 범위 개선을 위해 mask_dilation_iter를 증가시키세요.
  • 이동 객체 세부 조정을 위해 neighbor_length를 조정하세요.

사용 팁

1. 포인트 편집기를 사용하여 대상 객체에 여러 점을 표시하세요.
2. SAM2가 불필요한 영역을 포함하면 **부정적 포인트 (빨간색)**를 추가하세요.
3. 이동 객체의 경우, 여러 프레임에 걸쳐 점을 표시하세요.
4. 간단한 배경은 더 나은 인페인팅 결과를 제공합니다.
5. 메모리 문제를 피하기 위해 긴 비디오의 경우 video_length와 subvideo_length를 낮추세요.

추가 정보

• DiffuEraser에 대한 자세한 가이드와 업데이트는 를 방문하세요.
• ComfyUI에서 DiffuEraser 통합에 대한 정보는 를 방문하세요.
• SAM2에 대한 자세한 가이드는 를 방문하세요.

원작자에게 경의를 표하며

DiffuEraser는 Tongyi Lab, Alibaba Group의 Xiaowen Li, Haolan Xue, Peiran Ren, Liefeng Bo에 의해 제작되었으며, ComfyUI 통합은 smthemex에 의해 이루어졌습니다. Runcomfy Crew는 SAM2를 통한 자동 마스크 생성으로 워크플로우를 강화했습니다. 모든 공로는 획기적인 기여를 한 원작자들에게 돌아갑니다.