Wan2.2 Animate: ComfyUI에서의 레퍼런스에서 비디오 애니메이션으로의 완전 모션
Wan2.2 Animate는 단일 참조 이미지를 생생한 퍼포먼스로 변환하여 드라이빙 비디오의 전신 동작과 얼굴 표정을 따릅니다. 이 ComfyUI의 Wan2.2 Animate 워크플로우는 자세 전환, 얼굴 모캡, 배경 제어 및 LoRA 추가 기능을 결합하여 캐릭터가 자연스럽게 움직이면서 정체성을 유지합니다.
아바타, 공연 재현, 뮤직 비디오 및 스토리 비트에 맞게 설계된 Wan2.2 Animate는 청결하고 시간적으로 안정된 클립을 생성하며, 선택적 오디오 패스스루, 품질 업스케일링 및 보간 기능을 제공합니다. 이 워크플로우는 합리적인 기본값으로 제공되는 가이드 그래프로 제공되므로 배관보다 창의적 선택에 집중할 수 있습니다.
Comfyui Wan2.2 Animate 워크플로우의 주요 모델
- Wan 2.2 Animate 14B (I2V) fp8 스케일링. 포즈, 얼굴, 이미지 및 텍스트 가이던스를 해석하여 정체성 보존과 함께 모션 트랙을 합성하는 핵심 비디오 모델입니다. Model set
- Wan 2.1 VAE bf16. Wan 패밀리에 사용되는 VAE로, 색상 충실도와 선명도를 보장합니다. VAE
- UMT5‑XXL 텍스트 인코더. 긍정적 및 부정적 프롬프트에 대한 강력한 다국어 텍스트 조건을 제공합니다. Encoder
- CLIP ViT‑H/14 비전 인코더. 참조 이미지에서 시각적 임베딩을 추출하여 정체성과 스타일을 보존합니다. Paper
- 선택적 Wan LoRAs. 조명 및 I2V 동작 제어를 위한 경량 어댑터, 예를 들어 Lightx2v I2V 14B 및 Relight. Lightx2v • Relight
- Segment Anything 2 (SAM 2). 주제나 배경을 분리하는 데 사용되는 고품질 이미지/비디오 세분화. Paper
- DWPose. 얼굴/포즈 인식 자르기 및 마스크에 사용되는 정확한 2D 포즈 추정. Repo
- RIFE. 재생 부드러움을 향상시키기 위한 빠른 비디오 프레임 보간. Paper
Comfyui Wan2.2 Animate 워크플로우 사용 방법
전체 흐름. 그래프는 드라이빙 비디오와 단일 참조 이미지를 수집하여 깨끗한 주제/배경과 얼굴 인식 자르기를 준비한 다음, 포즈, 얼굴, 이미지 및 텍스트 임베딩을 Wan2.2 Animate에 공급하여 샘플링 및 디코딩합니다. 마지막 단계에서 세부 사항을 업스케일링하고 선택적으로 프레임을 보간한 후 내보냅니다.
- 모델들
- 이 그룹은 Wan2.2 Animate 기본, 매칭 VAE, 텍스트/비전 인코더 및 선택된 LoRAs를 로드합니다.
WanVideoModelLoader(#22)와WanVideoSetLoRAs(#48)는 모델과 어댑터를 연결하며,WanVideoVAELoader(#38)와CLIPLoader(#175)는 VAE 및 텍스트 백본을 제공합니다. - LoRAs를 조정하려면(예: 재조명 또는 I2V 스타일) 한 번에 하나 또는 두 개만 활성화하여 충돌을 피하고 제공된 콜라주 노드로 미리보기하십시오.
- 이 그룹은 Wan2.2 Animate 기본, 매칭 VAE, 텍스트/비전 인코더 및 선택된 LoRAs를 로드합니다.
크기
- 크기 그룹에서 목표
width와height를 설정하고 드라이빙 비디오에서 로드할 프레임 수와 일치하는지 확인하십시오.VHS_LoadVideo(#63)은 수를 보고하며, 샘플러의num_frames을 일관되게 유지하여 꼬리 잘림을 피하십시오. PixelPerfectResolution(#152) 도우미는 드라이빙 클립을 읽어 안정적인 생성 크기를 제안합니다.
배경 마스킹
- 드라이빙 비디오를
VHS_LoadVideo(#63)에 로드합니다. 오디오는 나중에 패스스루를 위해 자동으로 추출됩니다.PointsEditor(#107)를 사용하여 주제에 몇 가지 긍정적인 점을 배치하고Sam2Segmentation(#104)를 실행하여 깨끗한 마스크를 생성합니다. GrowMask(#100)와BlockifyMask(#108)는 가장자리를 안정화하고 확장하며,DrawMaskOnImage(#99)는 빠른 검사를 제공합니다. 이 마스크는 Wan2.2 Animate가 연주자에 집중하면서 원래 배경을 존중할 수 있게 합니다.
참조 이미지
- 단일, 잘 조명된 초상화 또는 전신 정지 이미지를 드롭합니다.
ImageResizeKJv2(#64)는 작업 해상도에 맞추고, 출력은 애니메이션 단계에 저장됩니다. - 최상의 정체성 보존을 위해 얼굴이 명확하고 가림이 최소화된 참조 이미지를 선택하십시오.
얼굴 이미지
- 파이프라인은 미세한 표정을 주도하기 위해 얼굴 인식 자르기를 구축합니다.
DWPreprocessor(#177)는 포즈 키포인트를 찾고,FaceMaskFromPoseKeypoints(#120)는 얼굴 영역을 분리하며,ImageCropByMaskAndResize(#96)는 정렬된 얼굴 자르기를 생성합니다. 빠른 QA를 위한 작은 미리보기 내보내기가 포함되어 있습니다(VHS_VideoCombine(#112)).
샘플링 및 디코딩
- 참조 이미지는
WanVideoClipVisionEncode(#70)를 통해 임베딩되고, 프롬프트는CLIPTextEncode(#172, #182, #183)로 인코딩되며, 모든 것이WanVideoAnimateEmbeds(#62)에 의해 결합됩니다. WanVideoSampler(#27)는 Wan2.2 Animate 확산의 핵심을 실행합니다. 매우 긴 클립의 경우 "context window" 모드에서 작업하거나 원래의 긴 생성 경로를 사용할 수 있으며, 포함된 노트는 안정성을 위해 프레임 수에 맞추어 context window를 일치시킬 때를 설명합니다. 샘플러의 출력은WanVideoDecode(#28)에 의해 디코딩되고 선택적 오디오 패스스루와 함께 저장됩니다(VHS_VideoCombine(#30)).
결과 콜라주
ImageConcatMulti(#77, #66)와GetImageSizeAndCount(#42)는 참조, 얼굴, 포즈 및 출력을 나란히 패널로 조립합니다. 최종 내보내기 전에 정체성과 모션 정렬을 확인하는 데 사용하십시오.
업스케일 및 보간
UltimateSDUpscaleNoUpscale(#180)은 제공된 UNet (UNETLoader(#181)) 및 VAE (VAELoader(#184))로 가장자리와 텍스처를 정제합니다. 긍정적/부정적 프롬프트는 세부 사항을 부드럽게 조정할 수 있습니다.RIFEInterpolation(#188)은 선택적으로 모션 부드러움을 두 배로 늘리고,VHS_VideoCombine(#189)은 최종 Wan2.2 Animate 클립을 작성합니다.
Comfyui Wan2.2 Animate 워크플로우의 주요 노드
VHS_LoadVideo(#63)- 역할. 드라이빙 비디오를 로드하고, 프레임을 출력하며, 오디오를 추출하고, 다운스트림 일관성을 위한 프레임 수를 보고합니다.
- 팁. 보고된 총 프레임 수를 샘플러의 생성 길이에 맞춰 조정하여 조기 종료 또는 검은 프레임을 방지하십시오.
Sam2Segmentation(#104) +PointsEditor(#107)- 역할. Wan2.2 Animate가 연주자에 집중하고 배경 얽힘을 피할 수 있도록 돕는 대화형 주제 마스킹입니다.
- 팁. 몇 개의 잘 배치된 긍정적 포인트와 적당한
GrowMask가 복잡한 배경을 안정화하는 경향이 있습니다. 비디오 인식 세분화 지침은 SAM 2를 참조하십시오. Paper
DWPreprocessor(#177) +FaceMaskFromPoseKeypoints(#120)- 역할. 감지된 키포인트에서 강력한 얼굴 마스크 및 정렬된 자르기를 도출하여 입술, 눈 및 턱의 충실도를 향상시킵니다.
- 팁. 표현이 약해 보이면 얼굴 마스크가 턱선과 뺨을 완전히 덮는지 확인하십시오. 포인트를 조정한 후 자르기를 다시 실행하십시오. Repo
WanVideoModelLoader(#22)와WanVideoSetLoRAs(#48)WanVideoAnimateEmbeds(#62)와WanVideoSampler(#27)- 역할. 이미지, 얼굴, 포즈 및 텍스트 조건을 비디오 잠재변수로 결합하고 Wan2.2 Animate로 시퀀스를 샘플링합니다.
- 팁. 매우 긴 클립의 경우 context‑window 모드로 전환하고 의도한 프레임 수와 길이를 동기화하여 시간적 일관성을 유지하십시오. Wrapper repo
UltimateSDUpscaleNoUpscale(#180)- 역할. 디코딩 후 타일링 지원으로 메모리를 안정적으로 유지하는 가벼운 세부 사항 패스입니다.
- 팁. 타일 이음새가 보이면 겹침을 약간 증가시키고 프롬프트 조향을 매우 부드럽게 유지하여 모델 이외의 텍스처를 피하십시오. KJNodes
RIFEInterpolation(#188)- 역할. 클립을 다시 렌더링하지 않고 중간 프레임을 삽입하여 모션을 부드럽게 합니다.
- 팁. 최종 세부 사항 프로필을 보기 위해 업스케일링 후 보간을 적용하십시오. Paper
선택적 추가 기능
- 가장 깨끗한 정체성을 위해, 선명하고 정면을 향한 참조를 선택하고 액세서리를 드라이빙 비디오와 일치시킵니다.
- 배경 깜박임이 나타나면 SAM 2 마스크를 정제하고 다시 실행하십시오. 마스킹은 장면 누출에 대한 가장 빠른 수정 방법입니다.
- 너비와 높이를 목표 플랫폼 및 입력의 종횡비에 맞추십시오. Wan2.2 Animate에서는 정사각형 픽셀, 16의 배수가 잘 작동합니다.
- 드라이빙 비디오의 오디오는 내보낼 때 패스스루할 수 있습니다. 침묵을 선호한다면 저장 노드에서 오디오를 비활성화하십시오.
- 하나의 LoRA로 시작하십시오. 재조명과 I2V를 함께 추가하려면 각각의 영향을 이해하기 위해 먼저 개별적으로 테스트하십시오.
유용할 수 있는 링크:
- Kijai의 Wan2.2 Animate 모델 및 자산: WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
- 사용된 ComfyUI 래퍼 및 노드: ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes
감사
이 워크플로우는 다음 작품 및 리소스를 구현하고 확장합니다. 우리는 Wan2.2 및 @ArtOfficialLabs의 Wan2.2 Animate Demo에 감사하며, 그들의 기여와 유지에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스
- Wan2.2/Wan2.2 Animate Demo
- 문서 / 릴리스 노트: Wan2.2 Animate Demo @ArtOfficialLabs
참고: 참조된 모델, 데이터세트 및 코드의 사용은 각 저자 및 유지 관리자가 제공한 해당 라이선스 및 조건에 따릅니다.
