Character & Pose & Background Replacement V3 — Wan2.2 Animate 비디오 캐릭터 교체, 포즈 전환, 배경 제어#
이 ComfyUI 워크플로우는 소스 모션 클립과 단일 참조 이미지를 새로운 비디오로 변환하여 캐릭터의 정체성, 포즈, 배경을 모두 제어할 수 있게 합니다. Character & Pose & Background Replacement V3는 소스 모션 구조를 안정적으로 유지하면서 주제를 교체하고, 신체 및 얼굴 동작을 전송하며, 장면을 선택적으로 교체하거나 혼합합니다.
빠르고 안내된 파이프라인이 필요한 창작자를 위해 설계된 이 워크플로우는 Wan2.2 Animate와 SAM 3.1 분할 및 SDPose를 결합하여 강력한 인물 마스킹과 포즈 안내를 제공합니다. 캐릭터 교체, 포즈 전환 애니메이션, 또는 하나의 캔버스에서 전체 장면 새로 고침을 위한 실용적인 토글과 미리보기를 제공합니다.
ComfyUI Character & Pose & Background Replacement V3 워크플로우의 주요 모델#
- Wan2.2 Animate 14B. 이미지, 포즈, 텍스트 안내에서 최종 프레임을 렌더링하는 생성 비디오 백본입니다. 스타일 또는 재조명을 위한 이미지 조건 및 LoRA 어댑터를 지원합니다. 모델 카드
- SAM 3.1. 프레임 또는 참조 이미지에서 인물 마스크를 추출하거나 정제하는 데 사용되는 고품질 분할 모델입니다. 깨끗한 합성과 인페인트를 유도합니다. 체크포인트
- SDPose. 정밀한 포즈 지도와 얼굴 크롭을 생성하여 동작 및 표정 전환을 유도하는 전신 키포인트 추출 및 그리기 도구입니다. 이 그래프에서 사용되는 RT-DETR 감지 가중치도 제공합니다. 저장소
- ViTPose-L WholeBody ONNX. 밀집된 신체, 손, 얼굴 랜드마크를 위한 강력한 다중 인물 키포인트 추정기입니다. 체크포인트
ComfyUI Character & Pose & Background Replacement V3 워크플로우 사용법#
워크플로우는 가이드 빌딩, 배경 제어, 렌더링의 세 가지 기둥으로 구성됩니다. 가이드는 모션 클립에서 추출한 정체성 스틸과 포즈 및 얼굴 신호에서 나옵니다. 배경 제어는 세 가지 교체 가능한 모드를 제공합니다. 렌더링은 Wan2.2 Animate와 선택적 LoRA를 사용하며, 공유 가능한 비디오를 내보냅니다.
이미지 로드#
이미지 로드 그룹에서 정체성 또는 타겟 캐릭터 이미지를 로드하세요. 모델에 맞게 크기를 조정하고 빠른 확인을 위해 미리보기합니다. 이 이미지는 Character & Pose & Background Replacement V3의 외형을 설정하며, 모션은 소스 클립에서 가져옵니다. 이미지가 깨끗한 주제를 가지고 있다면 결과는 정체성을 더 신뢰성 있게 추적할 것입니다.
비디오 로드#
VHS_LoadVideo (#63)을 사용하여 비디오 로드 그룹에서 모션 소스를 가져옵니다. 노드는 다운스트림 스케줄링을 위한 프레임 속도와 총 프레임을 노출하며, 렌더러가 생성할 프레임 수를 결정합니다. 제공된 경우 오디오는 최종 내보내기에 전달됩니다. 파일 위젯을 사용하여 짧은 미리보기를 위해 트림하거나 하위 샘플링하세요.
얼굴 및 포즈 영역#
얼굴 및 포즈 영역은 두 가지 주요 가이드 스트림을 구축합니다. 인물 및 얼굴을 감지한 후 SDPoseKeypointExtractor (#690)로 전신 키포인트를 추출하고 SDPoseDrawKeypoints (#688)를 통해 깨끗한 제어 이미지로 그립니다. RTDETR_detect (#771) 및 전처리 로더와 같은 보조 감지기가 신체 및 얼굴을 위한 강력한 박스를 제공합니다. 다중 인물 촬영의 경우 “Multi-person detection” 컨트롤과 “Detection source” 스위치를 전환하여 포즈를 소스 또는 배경 교체 분기에서 감지할지를 선택하세요.
SAM 3.1 마스크 및 정제#
Sam3.1 마스크 그룹은 SAM3_Detect (#753)로 주제 마스크를 생성합니다. CLIPTextEncode (#754)를 통해 텍스트로 안내할 수 있으며, PointsEditor (#758)를 사용하여 클릭으로 선택을 미세 조정할 수 있습니다. 두 개의 정제기가 매트 제작 준비를 합니다: GrowMaskWithBlur (#502)는 가장자리를 부드럽게 확장하고 깃털 처리하며, BlockifyMask (#401)는 블록 경계를 고르게 하여 톱니 모양의 윤곽선을 피합니다. 라이브 오버레이 미리보기 (DrawMaskOnImage (#391))는 렌더링 전에 잘라내기를 확인하는 데 도움을 줍니다.
배경 교체 영역#
다음을 할 수 있습니다:
- 원래 장면을 유지합니다.
LoadImage(#785)를 사용하여 정적 사진으로 교체합니다.VHS_LoadVideo(#790)를 사용하여 동적 비디오로 교체합니다.
간단한 토글로 동작을 선택하며, 선택한 분기는 모션 프레임에 맞게 크기가 조정된 다음 인물 마스크와 합성됩니다. 평평한 색상 무대 모양이 필요한 경우, 그린스크린 하위 그룹은 프레임 전반에 걸쳐 안정적으로 유지되는 고체 배경을 제공합니다.
Uni3C 모션 옵션#
추가 카메라 이동이나 모션 스무딩이 필요한 촬영을 위해, Uni3C 그룹은 제어 모델을 로드하고 WanVideoUni3C_ControlnetLoader (#538) 및 WanVideoUni3C_embeds (#546)를 사용하여 조정된 소스 클립을 모션 임베딩으로 변환합니다. 강도 제어와 시작 또는 종료 스케줄링을 통해 시퀀스 전반에 걸쳐 효과를 페이드 인 또는 아웃 할 수 있습니다.
캐릭터 교체 - 임베드 단계#
WanVideoAnimateEmbeds (#62)는 캐릭터 교체 경로를 위한 모든 것을 융합합니다: VAE, CLIP-Vision 이미지 특징, 정체성 이미지, SDPose 포즈 지도, 선택적 얼굴 크롭, 인물 마스크 및 선택적 배경 안내. 비디오로부터 너비, 높이 및 프레임 수를 상속하여 모션 정렬이 정확하게 유지됩니다. 새로운 주제가 원래 배우처럼 정확하게 움직이길 원할 때 이 모드를 사용하세요.
모션 전송 - 임베드 단계#
두 번째 WanVideoAnimateEmbeds (#904)는 배경 및 마스킹을 생략하고 이미지 주제에 포즈 및 표정을 적용해야 할 때 모션 전송 우선 경로를 제공합니다. 한 번에 하나의 임베드 단계만 활성화되어야 합니다. 목표에 맞는 모드를 선택한 다음, 업스트림 Any-Switch가 선택된 임베딩을 전달합니다.
샘플링 영역 및 LoRA 제어#
WanVideoSamplerSettings (#530)은 Wan2.2 모델, 선택한 이미지 임베딩, 선택적 텍스트 임베딩, Uni3C 모션 임베딩 및 시드를 결합합니다. LoRA 스택은 WanVideoLoraSelectMulti (#467)로 선택되고 WanVideoSetLoRAs (#48)에 의해 적용되어, 재조명, 스타일 또는 안정화를 위한 것입니다. WanVideoSamplerFromSettings (#531)는 잠재 비디오를 생성하고, WanVideoDecode (#28)는 이를 프레임으로 변환합니다.
미리보기 및 내보내기#
미리보기 영역은 중간 프레임을 재생하여 확인하고, VHS_VideoCombine (#312)는 선택한 프레임 속도로 최종 클립을 작성하며 선택적 오디오 패스스루를 제공합니다. 파일 이름 접두사 매크로가 이미 구성되어 각 렌더가 타임스탬프됩니다.
ComfyUI Character & Pose & Background Replacement V3 워크플로우의 주요 노드#
WanVideoAnimateEmbeds (#62, #904) Wan2.2 Animate 문서의 가이드 조립의 핵심입니다. 외형, 포즈, 마스크 및 선택적 배경을 비디오에 맞춘 단일 이미지 임베드 스트림으로 병합합니다. 중요한 것만 조정하세요: pose_strength를 증가시켜 소스 모션에 더 가까이 잠그거나 face_strength를 올려 정체성과 입 부위가 더 밀접하게 추적하도록 하세요. num_frames 및 비디오 로더의 프레임 수를 일치시켜 잘림을 피하세요.
SAM3_Detect (#753) SAM 3.1 체크포인트를 사용하여 인물 매트를 생성합니다. 의상이 배경과 섞일 때 프롬프트 조건이나 포인트 클릭을 사용하세요. 매트가 시끄럽다면 감지 도구의 경계 상자를 사용하여 선택 범위를 줄인 후 정제하세요.
GrowMaskWithBlur (#502) 및 BlockifyMask (#401) KJNodes 저장소에서 가져온 이들은 깨끗한 합성을 위한 마스크를 준비합니다. 성장 및 블러는 배경 교체 후 가장자리 솔기를 숨기고, 블록화는 주제 윤곽선의 계단식 아티팩트를 피합니다. 부드럽게 조정하고 자주 미리보세요.
WanVideoLoraSelectMulti (#467) 및 WanVideoSetLoRAs (#48) Wan2.2 Animate 래퍼 내부에 LoRA 어댑터를 부착합니다. 재조명, 보상 또는 모션 느낌 조정을 위해 사용하세요. 총 강도를 cfg 및 샘플러 스텝과 균형을 맞춰 LoRA가 안내하도록 하고 압도하지 않도록 하세요.
WanVideoUni3C_ControlnetLoader (#538) 및 WanVideoUni3C_embeds (#546) 동일한 샘플러 문서 내부에서 선택적 카메라 및 모션 재타겟팅을 제공합니다. 강도 및 시작 또는 종료 스케줄링을 사용하여 효과를 블렌드하세요. 매우 타이트한 추적 샷의 경우 강도를 낮게 설정하여 주제 모션이 주가 되도록 하세요.
VHS_VideoCombine (#312) Video Helper Suite 저장소에서 가져온 이들은 프레임을 최종 비디오로 조립하고 소스에서 오디오를 멀티플렉스할 수 있습니다. 여기에 프레임 속도를 로더의 강제 속도와 일치시켜 1:1 타이밍을 맞추세요.
선택적 추가 사항#
- 높은 해상도 또는 긴 클립에서 메모리 압력이 발생하면 인코딩 또는 디코딩 노드에서 VAE 타일링을 활성화하고 샘플러 설정에서 컨텍스트 크기를 낮추세요.
- 주제 가장자리가 톱니 모양으로 보이면, 마스크 성장을 약간 늘린 다음 다시 렌더링하기 전에 블록 크기를 조정하세요.
- 교체 후 색상이나 노출이 변동할 경우, CFG를 올리는 대신 적당한 강도의 재조명 LoRA를 시도하세요.
- 바쁜 장면의 경우, 먼저 소스 분기에서 포즈를 감지한 다음 마스크가 신뢰할 수 있게 된 후에만 교체된 분기로 감지를 전환하세요.
- 긴 렌더를 안정화하려면, 마스크 및 LoRA를 반복할 때 고정된
seed를 유지하고, 룩이 고정되면 무작위화하세요.
이 워크플로우는 Wan2.2 Animate 및 그 전처리 동반자를 중심으로 구축되었으며, 추가 읽기를 위한 공식 참조가 제공됩니다: Wan2.2 Animate, ComfyUI-WanVideoWrapper, ComfyUI-WanAnimatePreprocess, SAM 3.1, SDPose, 및 KJNodes.
감사#
이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. 우리는 워크플로우 참조를 제공한 RunningHub, Wan2.2-Animate-14B 모델을 제공한 Wan-AI, ComfyUI WanVideoWrapper 및 WanAnimatePreprocess 노드를 제공한 kijai, 그리고 SAM3.1 및 SDPose 모델을 제공한 Comfy-Org에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하시기 바랍니다.
리소스#
- RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
- 문서 / 릴리스 노트: 워크플로우 포스트
- Wan-AI/Wan2.2-Animate-14B
- GitHub: Wan-Video/Wan2.2
- Hugging Face: Wan-AI/Wan2.2-Animate-14B
- arXiv: 2503.20314
- kijai/ComfyUI-WanVideoWrapper
- GitHub: kijai/ComfyUI-WanVideoWrapper
- kijai/ComfyUI-WanAnimatePreprocess
- Comfy-Org/sam3.1
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- Comfy-Org/SDPose
- Hugging Face: Comfy-Org/SDPose
참고: 참조된 모델, 데이터셋 및 코드의 사용은 각 저자 및 유지 관리자가 제공하는 라이센스 및 조건에 따릅니다.