Wan2.2 Animate | 사진에서 현실적인 모션 비디오로

Wan2.2 Animate: ComfyUI에서의 레퍼런스에서 비디오 애니메이션으로의 완전 모션

Wan2.2 Animate는 단일 참조 이미지를 생생한 퍼포먼스로 변환하여 드라이빙 비디오의 전신 동작과 얼굴 표정을 따릅니다. 이 ComfyUI의 Wan2.2 Animate 워크플로우는 자세 전환, 얼굴 모캡, 배경 제어 및 LoRA 추가 기능을 결합하여 캐릭터가 자연스럽게 움직이면서 정체성을 유지합니다.

아바타, 공연 재현, 뮤직 비디오 및 스토리 비트에 맞게 설계된 Wan2.2 Animate는 청결하고 시간적으로 안정된 클립을 생성하며, 선택적 오디오 패스스루, 품질 업스케일링 및 보간 기능을 제공합니다. 이 워크플로우는 합리적인 기본값으로 제공되는 가이드 그래프로 제공되므로 배관보다 창의적 선택에 집중할 수 있습니다.

Comfyui Wan2.2 Animate 워크플로우의 주요 모델

• Wan 2.2 Animate 14B (I2V) fp8 스케일링. 포즈, 얼굴, 이미지 및 텍스트 가이던스를 해석하여 정체성 보존과 함께 모션 트랙을 합성하는 핵심 비디오 모델입니다. Model set
• Wan 2.1 VAE bf16. Wan 패밀리에 사용되는 VAE로, 색상 충실도와 선명도를 보장합니다. VAE
• UMT5‑XXL 텍스트 인코더. 긍정적 및 부정적 프롬프트에 대한 강력한 다국어 텍스트 조건을 제공합니다. Encoder
• CLIP ViT‑H/14 비전 인코더. 참조 이미지에서 시각적 임베딩을 추출하여 정체성과 스타일을 보존합니다. Paper
• 선택적 Wan LoRAs. 조명 및 I2V 동작 제어를 위한 경량 어댑터, 예를 들어 Lightx2v I2V 14B 및 Relight. Lightx2v • Relight
• Segment Anything 2 (SAM 2). 주제나 배경을 분리하는 데 사용되는 고품질 이미지/비디오 세분화. Paper
• DWPose. 얼굴/포즈 인식 자르기 및 마스크에 사용되는 정확한 2D 포즈 추정. Repo
• RIFE. 재생 부드러움을 향상시키기 위한 빠른 비디오 프레임 보간. Paper

Comfyui Wan2.2 Animate 워크플로우 사용 방법

전체 흐름. 그래프는 드라이빙 비디오와 단일 참조 이미지를 수집하여 깨끗한 주제/배경과 얼굴 인식 자르기를 준비한 다음, 포즈, 얼굴, 이미지 및 텍스트 임베딩을 Wan2.2 Animate에 공급하여 샘플링 및 디코딩합니다. 마지막 단계에서 세부 사항을 업스케일링하고 선택적으로 프레임을 보간한 후 내보냅니다.

• 모델들
  • 이 그룹은 Wan2.2 Animate 기본, 매칭 VAE, 텍스트/비전 인코더 및 선택된 LoRAs를 로드합니다. WanVideoModelLoader (#22)와 WanVideoSetLoRAs (#48)는 모델과 어댑터를 연결하며, WanVideoVAELoader (#38)와 CLIPLoader (#175)는 VAE 및 텍스트 백본을 제공합니다.
  • LoRAs를 조정하려면(예: 재조명 또는 I2V 스타일) 한 번에 하나 또는 두 개만 활성화하여 충돌을 피하고 제공된 콜라주 노드로 미리보기하십시오.

크기

• 크기 그룹에서 목표 width와 height를 설정하고 드라이빙 비디오에서 로드할 프레임 수와 일치하는지 확인하십시오. VHS_LoadVideo (#63)은 수를 보고하며, 샘플러의 num_frames을 일관되게 유지하여 꼬리 잘림을 피하십시오.
• PixelPerfectResolution (#152) 도우미는 드라이빙 클립을 읽어 안정적인 생성 크기를 제안합니다.

배경 마스킹

• 드라이빙 비디오를 VHS_LoadVideo (#63)에 로드합니다. 오디오는 나중에 패스스루를 위해 자동으로 추출됩니다. PointsEditor (#107)를 사용하여 주제에 몇 가지 긍정적인 점을 배치하고 Sam2Segmentation (#104)를 실행하여 깨끗한 마스크를 생성합니다.
• GrowMask (#100)와 BlockifyMask (#108)는 가장자리를 안정화하고 확장하며, DrawMaskOnImage (#99)는 빠른 검사를 제공합니다. 이 마스크는 Wan2.2 Animate가 연주자에 집중하면서 원래 배경을 존중할 수 있게 합니다.

참조 이미지

• 단일, 잘 조명된 초상화 또는 전신 정지 이미지를 드롭합니다. ImageResizeKJv2 (#64)는 작업 해상도에 맞추고, 출력은 애니메이션 단계에 저장됩니다.
• 최상의 정체성 보존을 위해 얼굴이 명확하고 가림이 최소화된 참조 이미지를 선택하십시오.

얼굴 이미지

• 파이프라인은 미세한 표정을 주도하기 위해 얼굴 인식 자르기를 구축합니다. DWPreprocessor (#177)는 포즈 키포인트를 찾고, FaceMaskFromPoseKeypoints (#120)는 얼굴 영역을 분리하며, ImageCropByMaskAndResize (#96)는 정렬된 얼굴 자르기를 생성합니다. 빠른 QA를 위한 작은 미리보기 내보내기가 포함되어 있습니다(VHS_VideoCombine (#112)).

샘플링 및 디코딩

• 참조 이미지는 WanVideoClipVisionEncode (#70)를 통해 임베딩되고, 프롬프트는 CLIPTextEncode (#172, #182, #183)로 인코딩되며, 모든 것이 WanVideoAnimateEmbeds (#62)에 의해 결합됩니다.
• WanVideoSampler (#27)는 Wan2.2 Animate 확산의 핵심을 실행합니다. 매우 긴 클립의 경우 "context window" 모드에서 작업하거나 원래의 긴 생성 경로를 사용할 수 있으며, 포함된 노트는 안정성을 위해 프레임 수에 맞추어 context window를 일치시킬 때를 설명합니다. 샘플러의 출력은 WanVideoDecode (#28)에 의해 디코딩되고 선택적 오디오 패스스루와 함께 저장됩니다(VHS_VideoCombine (#30)).

결과 콜라주

• ImageConcatMulti (#77, #66)와 GetImageSizeAndCount (#42)는 참조, 얼굴, 포즈 및 출력을 나란히 패널로 조립합니다. 최종 내보내기 전에 정체성과 모션 정렬을 확인하는 데 사용하십시오.

업스케일 및 보간

• UltimateSDUpscaleNoUpscale (#180)은 제공된 UNet (UNETLoader (#181)) 및 VAE (VAELoader (#184))로 가장자리와 텍스처를 정제합니다. 긍정적/부정적 프롬프트는 세부 사항을 부드럽게 조정할 수 있습니다.
• RIFEInterpolation (#188)은 선택적으로 모션 부드러움을 두 배로 늘리고, VHS_VideoCombine (#189)은 최종 Wan2.2 Animate 클립을 작성합니다.

Comfyui Wan2.2 Animate 워크플로우의 주요 노드

• VHS_LoadVideo (#63)

  • 역할. 드라이빙 비디오를 로드하고, 프레임을 출력하며, 오디오를 추출하고, 다운스트림 일관성을 위한 프레임 수를 보고합니다.
  • 팁. 보고된 총 프레임 수를 샘플러의 생성 길이에 맞춰 조정하여 조기 종료 또는 검은 프레임을 방지하십시오.

• Sam2Segmentation (#104) + PointsEditor (#107)

  • 역할. Wan2.2 Animate가 연주자에 집중하고 배경 얽힘을 피할 수 있도록 돕는 대화형 주제 마스킹입니다.
  • 팁. 몇 개의 잘 배치된 긍정적 포인트와 적당한 GrowMask가 복잡한 배경을 안정화하는 경향이 있습니다. 비디오 인식 세분화 지침은 SAM 2를 참조하십시오. Paper

• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)

  • 역할. 감지된 키포인트에서 강력한 얼굴 마스크 및 정렬된 자르기를 도출하여 입술, 눈 및 턱의 충실도를 향상시킵니다.
  • 팁. 표현이 약해 보이면 얼굴 마스크가 턱선과 뺨을 완전히 덮는지 확인하십시오. 포인트를 조정한 후 자르기를 다시 실행하십시오. Repo

• WanVideoModelLoader (#22)와 WanVideoSetLoRAs (#48)

  • 역할. Wan2.2 Animate를 로드하고 재조명 또는 I2V 편향을 위한 선택적 LoRAs를 적용합니다.
  • 팁. 조명 또는 모션 아티팩트를 진단할 때 한 번에 하나의 LoRA만 활성화하고, 지나치게 제한되지 않도록 드물게 중첩하십시오. Models • LoRAs

• WanVideoAnimateEmbeds (#62)와 WanVideoSampler (#27)

  • 역할. 이미지, 얼굴, 포즈 및 텍스트 조건을 비디오 잠재변수로 결합하고 Wan2.2 Animate로 시퀀스를 샘플링합니다.
  • 팁. 매우 긴 클립의 경우 context‑window 모드로 전환하고 의도한 프레임 수와 길이를 동기화하여 시간적 일관성을 유지하십시오. Wrapper repo

• UltimateSDUpscaleNoUpscale (#180)

  • 역할. 디코딩 후 타일링 지원으로 메모리를 안정적으로 유지하는 가벼운 세부 사항 패스입니다.
  • 팁. 타일 이음새가 보이면 겹침을 약간 증가시키고 프롬프트 조향을 매우 부드럽게 유지하여 모델 이외의 텍스처를 피하십시오. KJNodes

• RIFEInterpolation (#188)

  • 역할. 클립을 다시 렌더링하지 않고 중간 프레임을 삽입하여 모션을 부드럽게 합니다.
  • 팁. 최종 세부 사항 프로필을 보기 위해 업스케일링 후 보간을 적용하십시오. Paper

선택적 추가 기능

• 가장 깨끗한 정체성을 위해, 선명하고 정면을 향한 참조를 선택하고 액세서리를 드라이빙 비디오와 일치시킵니다.
• 배경 깜박임이 나타나면 SAM 2 마스크를 정제하고 다시 실행하십시오. 마스킹은 장면 누출에 대한 가장 빠른 수정 방법입니다.
• 너비와 높이를 목표 플랫폼 및 입력의 종횡비에 맞추십시오. Wan2.2 Animate에서는 정사각형 픽셀, 16의 배수가 잘 작동합니다.
• 드라이빙 비디오의 오디오는 내보낼 때 패스스루할 수 있습니다. 침묵을 선호한다면 저장 노드에서 오디오를 비활성화하십시오.
• 하나의 LoRA로 시작하십시오. 재조명과 I2V를 함께 추가하려면 각각의 영향을 이해하기 위해 먼저 개별적으로 테스트하십시오.

유용할 수 있는 링크:

• Kijai의 Wan2.2 Animate 모델 및 자산: WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• 사용된 ComfyUI 래퍼 및 노드: ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes

감사

이 워크플로우는 다음 작품 및 리소스를 구현하고 확장합니다. 우리는 Wan2.2 및 @ArtOfficialLabs의 Wan2.2 Animate Demo에 감사하며, 그들의 기여와 유지에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.

리소스

• Wan2.2/Wan2.2 Animate Demo
  • 문서 / 릴리스 노트: Wan2.2 Animate Demo @ArtOfficialLabs

참고: 참조된 모델, 데이터세트 및 코드의 사용은 각 저자 및 유지 관리자가 제공한 해당 라이선스 및 조건에 따릅니다.