비디오 캐릭터 교체 (MoCha) | 현실적인 교체 도구

ComfyUI용 비디오 캐릭터 교체 (MoCha) 워크플로우

이 워크플로우는 처음부터 끝까지 비디오 캐릭터 교체 (MoCha)를 제공합니다: 실제 비디오에서 연기자를 새로운 캐릭터로 교체하면서 모션, 조명, 카메라 관점 및 장면 연속성을 유지합니다. Wan 2.1 MoCha 14B 프리뷰를 중심으로 구축되어, 참조 정체성을 소스 퍼포먼스에 맞추고, 일관된 편집 클립과 선택적인 비교 영상을 합성합니다. 이는 정밀하고 고품질의 캐릭터 교체가 필요한 영화 제작자, VFX 아티스트 및 AI 창작자를 위해 설계되었습니다.

파이프라인은 강력한 첫 프레임 마스킹과 Segment Anything 2 (SAM 2), MoCha의 모션 인식 이미지 임베딩, WanVideo 샘플링/디코딩 및 얼굴 충실도를 향상시키는 선택적 초상화 보조를 결합합니다. 소스 비디오와 하나 또는 두 개의 참조 이미지를 제공하면, 이 워크플로우는 완료된 교체 비디오와 A/B 비교를 생성하여 비디오 캐릭터 교체 (MoCha)의 반복 평가를 빠르고 실용적으로 만듭니다.

Comfyui 비디오 캐릭터 교체 (MoCha) 워크플로우의 주요 모델

• Wan 2.1 MoCha 14B 프리뷰. 캐릭터 교체를 위한 핵심 비디오 생성기; MoCha 이미지 임베딩 및 텍스트 프롬프트에서 시간적으로 일관된 합성을 추진합니다. 효율성을 위한 fp8 스케일 변형을 포함하여 Kijai에 의해 WanVideo Comfy 형식으로 배포됩니다. Hugging Face: Kijai/WanVideo_comfy, Kijai/WanVideo_comfy_fp8_scaled

• MoCha (Orange‑3DV‑Team). 여기서 사용된 임베딩 단계를 영감을 준 정체성/모션 컨디셔닝 방법 및 참조 구현; 비디오 캐릭터 교체 (MoCha)를 위한 참조 선택 및 포즈 정렬 이해에 도움이 됩니다. GitHub, Hugging Face

• Segment Anything 2 (SAM 2). 배우를 첫 프레임에서 격리하는 고품질, 포인트 기반 세분화; 깨끗한 마스크는 안정적이고 아티팩트 없는 교체에 필수적입니다. GitHub: facebookresearch/segment-anything-2

• Qwen‑Image‑Edit 2509 + Lightning LoRA. 두 번째 참조로 사용할 수 있는 깨끗한 클로즈업 초상화를 생성하는 선택적 단일 이미지 보조, 어려운 장면에서 얼굴 정체성 보존을 개선합니다. Hugging Face: Comfy‑Org/Qwen‑Image‑Edit_ComfyUI, lightx2v/Qwen‑Image‑Lightning

• Wan 2.1 VAE. 효율적인 잠재 처리에 사용되는 Wan 샘플러/디코더 단계의 비디오 VAE. Hugging Face: Kijai/WanVideo_comfy

Comfyui 비디오 캐릭터 교체 (MoCha) 워크플로우 사용 방법

전체 논리

• 워크플로우는 소스 클립을 가져와 첫 프레임 마스크를 준비하고, MoCha 이미지 임베딩에 캐릭터 참조를 인코딩합니다. Wan 2.1은 편집된 프레임을 샘플링하고 이를 비디오로 디코딩합니다. 동시에, 작은 이미지 편집 분기는 얼굴 세부정보를 위한 선택적 두 번째 참조로 작동할 초상화를 생성할 수 있습니다. 그래프는 또한 비디오 캐릭터 교체 (MoCha) 결과를 빠르게 평가하기 위한 비교 영상을 렌더링합니다.

입력 비디오

• “Input Video”에서 비디오를 로드하세요. 워크플로우는 프레임을 정상화하고 (기본 1280×720 크롭) 클립의 프레임 속도를 최종 내보내기를 위해 자동으로 유지합니다. 첫 프레임은 검사 및 다운스트림 마스킹을 위해 노출됩니다. 미리보기 노드는 원본 입력 프레임을 보여주므로 자르기 및 노출을 확인한 후 계속 진행할 수 있습니다.

첫 프레임 마스크

• 상호작용 포인트 편집기를 사용하여 배우의 긍정적 포인트와 배경의 부정적 포인트를 클릭하세요; SAM 2는 이러한 클릭을 정밀한 마스크로 변환합니다. 작은 확장 및 블러 단계가 마스크를 확장하여 프레임 간 모션 및 경계 헤일로를 방지합니다. 결과 매트는 미리보기되며, 동일한 마스크가 MoCha 임베딩 단계로 전송됩니다. 이 그룹에서의 좋은 마스킹은 비디오 캐릭터 교체 (MoCha)에서 안정성을 물질적으로 향상시킵니다.

ref1

• “ref1”은 주요 캐릭터 정체성 이미지입니다. 워크플로우는 배경을 제거하고 자르기를 중심에 맞추며 비디오의 작동 해상도에 맞게 크기를 조정합니다. 최상의 결과를 위해 깨끗한 배경의 참조를 사용하고, 포즈가 첫 프레임의 소스 배우와 대략적으로 일치하는 것이 좋습니다; MoCha 인코더는 유사한 관점 및 조명에서 이점을 얻습니다.

ref2 (선택 사항)

• “ref2”는 선택 사항이지만 얼굴에 권장됩니다. 초상화를 직접 제공하거나, 아래 샘플링 분기에서 생성하도록 할 수 있습니다. 이미지는 ref1과 같이 배경이 제거되고 크기가 조정됩니다. 존재할 경우, ref2는 얼굴 특징을 강화하여 모션, 차폐 및 관점 변화 동안 정체성을 유지합니다.

단계 1 - 모델 로드

• 이 그룹은 Wan 2.1 VAE와 Wan 2.1 MoCha 14B 프리뷰 모델, 추가적으로 증류를 위한 선택적 WanVideo LoRA를 로드합니다. 이러한 자산은 주요 비디오 샘플링 단계를 추진합니다. 여기 설정된 모델은 VRAM을 많이 사용합니다; 나중에 큰 시퀀스를 작은 GPU에 맞추기 위한 블록 교체 도우미가 포함됩니다.

단계 2 - 편집할 이미지 업로드

• ref2를 자체 정지 이미지로 구축하려면 여기에 드롭하세요. 이 분기는 이미지를 스케일링하고 Qwen 인코더로 라우팅하여 컨디셔닝합니다. 이미 좋은 얼굴 초상화가 있는 경우 이 전체 분기를 건너뛸 수 있습니다.

단계 4 - 프롬프트

• 의도된 클로즈업 초상화를 설명하는 짧은 텍스트 큐를 제공하세요 (예: “다음 장면: 카메라 클로즈업 얼굴 샷, 캐릭터의 초상화”). Qwen‑Image‑Edit는 이를 사용하여 ref2가 되는 깨끗한 얼굴 이미지를 정제하거나 합성합니다. 설명을 간단히 유지하세요; 이것은 전체적인 스타일 변경이 아닌 보조입니다.

장면 2 - 샘플링

• Qwen 분기는 Lightning LoRA 아래에서 단일 초상화 이미지를 생성하기 위해 빠른 샘플러를 실행합니다. 그 이미지는 디코딩되고, 미리보기되며, 가벼운 배경 제거 후 ref2로 전달됩니다. 이 단계는 핵심 비디오 캐릭터 교체 (MoCha) 외관을 변경하지 않고도 종종 얼굴 충실도를 향상시킵니다.

Mocha

• MochaEmbeds 단계는 소스 비디오, 첫 프레임 마스크, 참조 이미지(들)을 MoCha 이미지 임베딩으로 인코딩합니다. 임베딩은 정체성, 질감 및 지역적 외형 단서를 잡아내면서 원래의 모션 경로를 존중합니다. ref2가 존재하면 얼굴 세부정보를 강화하는 데 사용됩니다; 그렇지 않으면 ref1만으로 정체성을 유지합니다.

Wan 모델

• Wan 모델 로더는 Wan 2.1 MoCha 14B 프리뷰를 메모리에 불러오고 (선택적으로) LoRA를 적용합니다. 블록 교체 도구가 연결되어 있어 필요시 속도를 메모리로 교환할 수 있습니다. 이 모델 선택은 비디오 캐릭터 교체 (MoCha)의 전체 용량과 일관성을 설정합니다.

Wan 샘플링

• 샘플러는 Wan 모델, MoCha 이미지 임베딩 및 모든 텍스트 임베딩을 소비하여 편집된 잠재 프레임을 생성한 후 이를 이미지로 디코딩합니다. 두 개의 출력이 생성됩니다: 최종 교체 비디오와 원본 프레임과의 비교 영상. 프레임 속도는 로더에서 전달되어 모션 페이싱이 자동으로 소스와 일치합니다.

Comfyui 비디오 캐릭터 교체 (MoCha) 워크플로우의 주요 노드

• MochaEmbeds (#302). 소스 클립, 첫 프레임 마스크 및 참조 이미지를 MoCha 이미지 임베딩으로 인코딩하여 정체성과 외형을 조정합니다. 첫 프레임과 일치하는 ref1 포즈를 선호하고, 드리프트가 보이면 깨끗한 얼굴을 위한 ref2를 포함하세요. 가장자리가 흔들리면 배경 누출을 피하기 위해 임베딩 전에 마스크를 약간 확장하세요.

• Sam2Segmentation (#326). 긍정적/부정적 클릭을 첫 프레임 마스크로 변환합니다. 머리카락과 어깨 주위의 깨끗한 가장자리를 우선시하세요; 가까운 소품을 제외하기 위해 몇 가지 부정적 포인트를 추가하세요. 세분화 후 마스크를 약간 확장하면 배우가 움직일 때 안정성을 돕습니다.

• WanVideoSampler (#314). 잠재를 프레임으로 디노이징하여 비디오 캐릭터 교체 (MoCha)의 무거운 작업을 수행합니다. 더 많은 단계는 세부사항과 시간적 안정성을 개선합니다; 더 적은 단계는 반복 속도를 높입니다. 참조나 마스크의 변경을 비교할 때 스케줄러를 일관되게 유지하세요.

• WanVideoSetBlockSwap (#344). VRAM이 부족할 경우, 더 깊은 블록 교체를 활성화하여 Wan 2.1 MoCha 14B 경로를 작은 GPU에 맞출 수 있습니다. 약간의 속도 손실을 기대하세요; 그 대가로 해상도와 시퀀스 길이를 유지할 수 있습니다.

• VHS_VideoCombine (#355). 최종 MP4를 작성하고 워크플로우 메타데이터를 임베드합니다. 소스와 동일한 프레임 속도 (이미 유선으로 전달됨)와 넓은 플레이어 호환성을 위한 yuv420p 출력을 사용하세요.

선택적 추가 기능

• 깨끗한 교체를 위한 팁

  • 첫 프레임과 가까운 포즈의 단순한 배경의 ref1을 사용하세요.
  • 정면 얼굴 초상화로 ref2를 유지하여 정체성을 안정화하세요.
  • 가장자리 헤일로가 보이면 첫 프레임 마스크를 확장하고 가볍게 블러한 후 다시 임베딩하세요.
  • 무거운 장면은 블록 교체 도우미의 이점을 얻습니다; 그렇지 않으면 속도를 위해 꺼두세요.
  • 워크플로우는 A/B 비교 비디오를 렌더링합니다; 이를 사용하여 변경 사항을 빠르게 판단하세요.

• 유용한 참조

  • Orange‑3DV‑Team의 MoCha: GitHub, Hugging Face
  • Wan 2.1 MoCha 14B (Comfy 형식): Kijai/WanVideo_comfy, Kijai/WanVideo_comfy_fp8_scaled
  • Segment Anything 2: facebookresearch/segment-anything-2
  • Qwen Image Edit + Lightning LoRA: Comfy‑Org/Qwen‑Image‑Edit_ComfyUI, lightx2v/Qwen‑Image‑Lightning

감사의 말

이 워크플로우는 다음 작업과 리소스를 구현하고 확장합니다. 우리는 그들의 기여와 유지 보수에 대해 Benji’s AI Playground의 “비디오 캐릭터 교체 (MoCha)”에 감사를 표합니다. 권위 있는 세부 사항은 아래에 연결된 원본 문서 및 저장소를 참조하십시오.

리소스

• “비디오 캐릭터 교체 (MoCha)”/비디오 캐릭터 교체 (MoCha)의 저자들
  • Docs / Release Notes @Benji’s AI Playground: YouTube video

참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지 관리자가 제공한 각각의 라이선스 및 조건에 따라야 합니다.