카메라에 잡힌 어떤 연사든지 원본 오디오에 맞게 움직임, 표정 및 입 모양을 맞추면서 자신의 캐릭터로 교체할 수 있습니다. 이 ComfyUI 워크플로우는 Wan 2.2 Animate: 캐릭터 교체 및 립싱크를 중심으로 구축되어, 입력 비디오에서 신체 자세와 얼굴 프레임을 감지하고 이를 단일 참조 이미지로 재지정하여 일관된, 말과 동기화된 결과를 렌더링합니다.
이 워크플로우는 인터뷰, 릴, VTubing, 슬라이드, 더빙된 단편을 위한 신뢰할 수 있는 캐릭터 교체를 원하는 편집자, 제작자 및 연구자에게 적합합니다. 소스 클립과 하나의 깨끗한 참조 이미지를 제공하면, 파이프라인이 새 캐릭터의 포즈와 입 움직임을 재현하고 원본 사운드트랙을 최종 출력에 결합합니다.
그래프는 입력 로드, 참조 빌드, 포즈/얼굴 및 마스크 전처리, 생성 모델 로드, 캐릭터 교체 실행, 진단 미리보기, 그런 다음 오디오와 함께 내보내기 등 7개의 그룹을 통해 이동합니다.
VHS_LoadVideo (#63)를 사용하여 소스 클립을 가져옵니다. 노드는 리사이징을 위한 선택적 너비/높이를 노출하고, 비디오 프레임, 오디오 및 프레임 수를 다운스트림 사용을 위해 출력합니다. 더 빠른 처리를 원한다면 클립을 말하는 부분 근처로 잘라두십시오. 오디오는 익스포터에 전달되어 최종 비디오가 원본 사운드트랙과 일치하도록 합니다.
대상 캐릭터의 단일, 깨끗한 초상화를 제공하십시오. 이미지는 작업 해상도에 맞추기 위해 ImageResizeKJv2 (#64)로 리사이징되며, CLIP Vision 및 생성기가 사용하는 정식 참조로 저장됩니다. 소스 샷과 유사한 조명 아래 선명하고 정면을 향한 이미지를 선호하여 색상 및 음영 드리프트를 줄이십시오.
OnnxDetectionModelLoader (#178)이 YOLO 및 ViTPose를 로드한 후, PoseAndFaceDetection (#172)이 각 프레임을 분석하여 전체 신체 키포인트 및 프레임별 얼굴 크롭을 생성합니다. Sam2Segmentation (#104)은 감지된 바운딩 박스나 키프레임 포인트를 사용하여 전경 마스크를 생성합니다; 하나의 힌트가 실패하면 더 나은 분리를 위해 다른 힌트로 전환하십시오. 마스크는 GrowMaskWithBlur (#182)로 정제되고, BlockifyMask (#108)로 블록화되어 생성기에 안정적이고 명확한 주제 영역을 제공합니다. 선택적 오버레이(DrawViTPose (#173) 및 DrawMaskOnImage (#99))를 사용하여 생성 전에 포즈 범위 및 마스크 품질을 시각적으로 확인할 수 있습니다.
WanVideoModelLoader (#22)은 Wan 2.2 Animate 14B를 로드하고, WanVideoVAELoader (#38)은 VAE를 제공합니다. 참조 초상화의 정체성 특징은 CLIPVisionLoader (#71) 및 WanVideoClipVisionEncode (#70)에 의해 인코딩됩니다. 스타일과 안정성은 WanVideoLoraSelectMulti (#171)로 조정되며, WanVideoSetLoRAs (#48) 및 WanVideoSetBlockSwap (#50)은 모델에 LoRAs 및 블록 교체 설정을 적용합니다; 이 도구들은 Wan 래퍼 라이브러리에서 제공됩니다. 구현 세부사항은 ComfyUI‑WanVideoWrapper를 참조하십시오.
WanVideoTextEncodeCached (#65)은 외관이나 샷 분위기를 약간 조정하려는 경우 짧은 설명 프롬프트를 수용합니다. WanVideoAnimateEmbeds (#62)은 참조 이미지, 프레임별 포즈, 얼굴 크롭, 배경 및 마스크를 이미지 임베딩으로 결합하여 정체성을 보존하면서 움직임 및 입 모양을 일치시킵니다. 그런 다음 WanVideoSampler (#27)은 프레임을 렌더링합니다; 스케줄러와 단계는 선명도-움직임 균형을 제어합니다. WanVideoDecode (#28)에서 디코딩된 프레임은 크기/수 검사기에 전달되어 내보내기 전에 치수를 확인할 수 있습니다.
빠른 QA를 위해, 워크플로우는 ImageConcatMulti (#77, #66)를 사용하여 참조, 얼굴 크롭, 포즈 시각화 및 원시 프레임의 간단한 비교 스트립을 형성합니다. 테스트 패스 직후 정체성 단서 및 입 모양을 sanity-check하는 데 사용하십시오.
VHS_VideoCombine (#30)은 최종 비디오를 생성하고 원본 오디오를 결합하여 완벽한 타이밍을 제공합니다. 추가 익스포터가 포함되어 있어 중간 진단이나 대체 컷을 저장할 수 있습니다. 긴 클립에서 최상의 결과를 얻으려면 먼저 짧은 테스트를 내보낸 다음 전체 렌더링을 수행하기 전에 LoRA 믹스 및 마스크를 반복하십시오.
VHS_LoadVideo (#63)
프레임과 원본 오디오를 한 번에 로드합니다. GPU 예산에 맞는 작업 해상도를 설정하고 다운스트림 노드가 사용할 프레임 수를 확인하는 데 사용하십시오. ComfyUI‑VideoHelperSuite에서 제공됩니다.
PoseAndFaceDetection (#172)
YOLO 및 ViTPose를 실행하여 사람 상자, 전체 신체 키포인트 및 프레임별 얼굴 크롭을 추출합니다. 좋은 키포인트는 믿을 수 있는 움직임 전송의 기반이며 입 움직임을 직접 재사용합니다. ComfyUI‑WanAnimatePreprocess에서 제공됩니다.
Sam2Segmentation (#104)
바운딩 박스나 키프레임 포인트 힌트를 사용하여 주위에 전경 마스크를 생성합니다. 머리카락이나 손이 누락된 경우 힌트 유형을 전환하거나 블러/성장 설정을 확장한 후 블록화하기 전에 마스크를 약간 확장하십시오. ComfyUI‑segment‑anything‑2에서 제공됩니다.
WanVideoLoraSelectMulti (#171)
Lightx2v 및 Wan22 Relight 같은 LoRAs를 혼합하여 움직임 안정성, 조명 일관성 및 정체성 강도를 균형 있게 조정할 수 있습니다. 더 많은 영향을 위해 LoRA의 가중치를 증가시키되, 얼굴에 과도한 스타일링이 발생하지 않도록 주의하십시오. ComfyUI‑WanVideoWrapper에서 제공됩니다.
WanVideoAnimateEmbeds (#62)
참조 초상화, 포즈 이미지, 얼굴 크롭, 배경 프레임 및 마스크를 결합하여 Wan 2.2 Animate를 조건화하는 컴팩트한 표현을 만듭니다. width, height, num_frames가 의도한 내보내기와 일치하도록 하여 리샘플링 아티팩트를 피하십시오. ComfyUI‑WanVideoWrapper에서 제공됩니다.
WanVideoSampler (#27)
최종 프레임을 생성합니다. 더 선명한 세부 사항이 필요할 때는 더 높은 단계와 더 안정적인 스케줄러를 사용하고, 빠른 미리보기를 위해 가벼운 스케줄을 사용하십시오. 매우 긴 클립에서는 WanVideoContextOptions (#110)을 연결하여 창 전반에 걸쳐 시간적 일관성을 유지할 수 있도록 컨텍스트-윈도우 제어를 도입할 수 있습니다.
VHS_VideoCombine (#30)
완성된 비디오를 내보내고 원본 오디오를 결합하여 입 움직임이 동기화되도록 합니다. 오디오에 맞춰 트림 옵션이 제공되어 사운드트랙과 지속 시간을 일치시킵니다. ComfyUI‑VideoHelperSuite에서 제공됩니다.
Sam2Segmentation 힌트를 바운딩 박스와 키프레임 포인트 간에 전환한 후 마스크를 약간 확장하십시오.WanVideoSetBlockSwap (#50)에서 활성화하고 다시 테스트하십시오.이 Wan 2.2 Animate: 캐릭터 교체 및 립싱크 워크플로우는 최소한의 설정으로 일관된 움직임 전송 및 말과 동기화된 입 모양을 제공하여 ComfyUI 내에서 고품질 캐릭터 교체를 빠르고 반복 가능하게 만듭니다.
이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. 전체 워크플로우를 구축한 @MDMZ, Wan 2.2 Animate 및 관련 ComfyUI 노드를 제공한 Kijai, YOLOv10m 감지를 포함한 Wan2.2-Animate 자산을 제공한 Wan-AI, 그리고 Wan 2.1 Clip Vision 모델을 제공한 Comfy-Org의 기여 및 유지보수에 감사드립니다. 권위 있는 세부 사항은 아래에 연결된 원본 문서 및 저장소를 참조하십시오.
참고: 참조된 모델, 데이터셋 및 코드는 각 저자 및 유지보수자가 제공하는 라이선스 및 조건에 따라 사용됩니다.
RunComfy는 최고의 ComfyUI 플랫폼으로서 ComfyUI 온라인 환경과 서비스를 제공하며 ComfyUI 워크플로우 멋진 비주얼을 제공합니다. RunComfy는 또한 제공합니다 AI Playground, 예술가들이 최신 AI 도구를 활용하여 놀라운 예술을 창조할 수 있도록 지원합니다.