Wan Animate 2 ComfyUI 모션 전이: 드라이빙 비디오에서 단일 이미지 캐릭터 애니메이션#
Wan Animate 2 ComfyUI는 하나의 참조 캐릭터 정지 이미지와 드라이빙 포즈 비디오를 새로운 전체 몸체 애니메이션 클립으로 변환합니다. 이는 Wan-Animate-2를 중심으로 구축된 엔드-투-엔드 디퓨전 트랜스포머로, 원본 프레임에서 직접 모션을 전이하므로 OpenPose나 스켈레톤 추출이 필요하지 않습니다. 워크플로우는 정지 이미지에서 캐릭터 정체성을 유지하면서 텍스트를 통해 배경, 스타일 및 카메라를 제어할 수 있습니다.
이 RunComfy-ready 그래프는 ComfyUI 내에서 스튜디오 스타일 모션 전이를 원하는 창작자에게 이상적입니다. 초상화 또는 전체 몸체 참조를 제공하고 짧은 드라이빙 비디오를 추가한 후 두 개의 간결한 프롬프트를 설정하면, Wan Animate 2 ComfyUI는 깨끗하고 프롬프트 기반의 배경과 함께 정체성을 유지하는 캐릭터 공연을 생성합니다.
Comfyui Wan Animate 2 ComfyUI 워크플로우의 주요 모델#
- Wan-Animate-2 코어 가중치. 드라이빙 클립에서 정체성을 인식하는 모션 전이를 수행하면서 새로운 프레임을 생성하는 디퓨전 트랜스포머. 소스 및 가중치: Wan-Animate-2 GitHub 및 Comfy-Org/Wan-Animate-2.
- LightX2V I2V 14B 480p 증류 LoRA. Wan-Video 백본을 효율적인 이미지-비디오 생성 및 모션 조건화에 맞추는 경량 어댑터. 파일: lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors at Hugging Face.
- uMT5-XXL 텍스트 인코더. 긍정적 및 부정적 프롬프트를 해석하여 캐릭터 외모, 배경 및 스타일을 주도합니다. 파일: umt5_xxl_fp8_e4m3fn_scaled.safetensors at Hugging Face.
- CLIP ViT-H/14 비전 인코더. 참조 이미지에서 외관 특징을 추출하고 포즈 프레임에서 보완적인 단서를 추출하여 강력한 정체성 및 모션 지침을 제공합니다. 파일: clip_vision_h.safetensors at Hugging Face.
- Wan 2.1 VAE. 비디오 잠재 변수를 인코딩하고 디코딩하면서 세밀한 텍스처와 색상 충실도를 유지합니다. 파일: Wan2_1_VAE_bf16.safetensors at Hugging Face.
Comfyui Wan Animate 2 ComfyUI 워크플로우 사용 방법#
한눈에, 워크플로우는 참조 이미지와 드라이빙 비디오를 모션 전이 서브그래프를 통해 라우팅하고, 프레임을 비디오로 디코딩한 후 선택적으로 나란히 비교를 스티칭합니다. 아래 그룹은 각 부분이 기여하는 방식과 변경할 수 있는 내용을 설명합니다.
모델#
이 그룹은 코어 Wan-Animate-2 모델, 그 LoRA, 텍스트 인코더, CLIP-Vision, VAE를 로드합니다. 동일한 저장소에서 대안을 선택해야 하는 경우가 아니라면 기본 모델 선택을 유지하세요. UNet과 LoRA 쌍은 모션 해석 및 렌더링 방식을 정의하며, VAE는 잠재 인코딩/디코딩 동안 이미지 충실도를 제어합니다. 모델을 교체하는 경우, 연결된 저장소의 Wan Animate 2 ComfyUI 자산과 호환되는지 확인하세요.
프롬프트#
긍정적 프롬프트를 사용하여 캐릭터의 외모와 원하는 배경을 설명하고, 부정적 프롬프트를 사용하여 아티팩트를 부드럽게 제외합니다. 외모, 재료, 의상, 조명, 세트를 설명하세요; 움직임은 비디오에서 오므로 여기서 설명하지 마세요. 프롬프트를 간결하고 구체적으로 유지하면 프레임 간의 정체성 보존 및 배경 일관성이 향상됩니다. 텍스트 인코더는 텍스트를 생성 전반에 걸쳐 사용되는 조건으로 변환합니다.
참조 이미지#
Load Image (Reference Image) (#189)를 사용하여 캐릭터가 중심에 있는 단일, 깨끗한 참조 초상화 또는 전체 몸체 정지를 로드하세요. 이 정지 이미지의 배경은 장면이 프롬프트에서 생성되므로 전달되지 않습니다. 그룹은 포즈 특징과 일치하도록 참조를 다운스트림에서 사용되는 작업 해상도에 맞게 크기를 조정합니다. 조명이 밝고 선명한 참조는 강력한 정체성을 제공합니다.
포즈 참조 비디오#
Load Video (Pose Video) (#240)를 사용하여 드라이빙 클립을 가져옵니다. 프레임은 스켈레톤 키포인트로 변환되지 않고 모델에 직접 전달되므로, 자연스러운 미묘함(예: 무게 이동 및 2차 모션)이 잘 전이됩니다. 그래프는 원본 클립의 리듬을 유지하면서 공간적 차원을 정규화하여 출력 fps가 소스를 따릅니다. 참조와 대략적으로 일치하는 클립을 선택하여(예: 전체 몸체 대 전체 몸체) 스케일 드리프트를 피하세요.
컨텍스트 윈도우 및 캐시#
ContextWindowsManual은 더 긴 동작이 창을 가로질러 일관되게 유지되도록 시간적 컨텍스트를 제어합니다. 작은 ComfySwitchNode는 컨텍스트 확장이 사용되는지 여부를 전환하여 메모리를 안정성으로 바꿉니다. WanAnimate2Cache는 gpu 또는 cpu에서 주의 캐시를 관리하여 긴 시퀀스에서 VRAM 스파이크를 제어합니다. 타이트한 GPU의 경우, 캐시를 cpu에 배치하는 것이 실용적인 안전장치입니다.
컨디셔닝#
WanAnimate2ToVideo (#247)는 Wan Animate 2 ComfyUI의 중심입니다. 긍정적 및 부정적 텍스트 컨디셔닝을 참조 이미지, CLIP-Vision 특징, 포즈 프레임과 결합하여 비디오 잠재 시퀀스를 생성합니다. 이전 세그먼트의 마지막 프레임을 continue_motion에 전달하여 청크 간의 연속성을 유지할 수 있고, 체이닝 시 video_frame_offset으로 드라이빙 클립의 읽기를 오프셋할 수 있습니다. 노드는 또한 reference_image_strength 및 pose_strength를 수용하여 정체성 잠금과 모션 충실도를 균형있게 조정합니다.
샘플링#
SamplerCustom은 ModelSamplingSD3, BasicScheduler, LCM 샘플러 선택으로 준비된 모델을 사용하여 비디오 잠재를 디노이즈합니다. 이 단계는 속도와 텍스처 안정성을 결정합니다; 고정된 시드는 체이닝된 세그먼트 간의 외모 및 그레인을 일관되게 유지하고, 무작위 시드는 변화를 추가합니다. 결과는 디코딩을 위한 잠재 비디오 클립입니다.
중복된 첫 프레임 자르기#
세그먼트를 체이닝할 때, 새로운 세그먼트의 첫 프레임은 이전 세그먼트의 마지막 프레임을 중복할 수 있습니다. TrimVideoLatent 및 작은 스위치 경로는 자동으로 그 솔기를 제거합니다. 여전히 단일 프레임의 히컵이 보인다면, 배치 시 새로운 청크의 첫 이미지를 제거하세요.
비디오 조립 및 비교#
VAEDecode는 최종 잠재를 이미지로 변환하고, 배치한 후 CreateVideo에 보내 원본 클립의 fps와 오디오(있는 경우)를 상속합니다. SaveVideo는 생성된 애니메이션을 디스크에 저장합니다. Video Stitch 서브그래프 (ImageStitch 내부)는 생성된 비디오와 원본 드라이빙 비디오를 가져와 품질을 빠르게 확인하기 위한 나란히 비교를 생성한 후, 그 결합된 뷰를 별도의 파일로 저장합니다.
단일 청크를 넘어 확장#
각 패스는 고정된 수의 프레임을 생성하므로 더 긴 샷은 Motion Transfer (Wan Animate 2) 서브그래프 (#261)를 복제하여 생성됩니다. 이전 패스의 continue_motion을 다음 패스로 연결하고 이전 video_frame_offset을 앞으로 전달하여 드라이빙 클립의 읽기가 원활하게 계속되도록 합니다. 각 패스의 image 출력을 BatchImagesNode (#289)에 연결하여 비디오 생성 전에 세그먼트를 연결합니다. 왼쪽 하단의 수학 노드는 드라이빙 비디오 길이에 따라 몇 번의 패스가 필요한지 계산하고, 작은 미리보기는 그 숫자를 출력합니다.
Comfyui Wan Animate 2 ComfyUI 워크플로우의 주요 노드#
WanAnimate2ToVideo (#247)#
텍스트 컨디셔닝, 참조 이미지, CLIP-Vision 특징 및 포즈 프레임을 결합하여 비디오 잠재를 합성합니다. reference_image_strength를 조정하여 출력이 정지 이미지에 얼마나 밀접하게 따라가는지 제어하고, pose_strength와 pose_start_percent, pose_end_percent를 사용하여 모션을 창으로 만들거나 부드럽게 합니다. length는 패스당 프레임을 설정하고, video_frame_offset은 체이닝 시 드라이빙 클립을 통해 진행하며, continue_motion은 이전 세그먼트의 마지막 프레임을 사용하여 시간적 연속성을 고정합니다. 공식 저장소에 링크된 Wan-Animate-2 구현 및 가중치로 지원됩니다.
ContextWindowsManual (#257) 및 ComfySwitchNode (#258)#
더 긴 시퀀스에서 움직임이 일관되게 유지되도록 시간적 주의 창을 확장합니다. 복잡한 움직임이나 시간이 지남에 따라 세부 사항이 드리프트할 때 메모리 비용으로 활성화하세요. 메모리 제한에 도달하면, 컨텍스트 창 크기를 비활성화하거나 줄이고 청크 간의 연속성에 의존하세요.
WanAnimate2Cache (#224)#
주의 키와 값을 캐시하여 중복 계산을 줄이고 메모리 사용을 원활하게 합니다. VRAM이 부족할 때는 캐시 device를 cpu로 설정하고 최대 처리량을 위해 gpu로 설정하며, 안정성을 위해 경량 dtype을 유지하세요. 특히 여러 패스를 쌓아 더 긴 샷을 만들 때 유용합니다. 자산은 공식 Comfy-Org/Wan-Animate-2 릴리스와 함께 제공됩니다.
SamplerCustom (#19) 및 KSamplerSelect, BasicScheduler#
비디오 잠재에 대한 디노이징 궤적을 실행합니다. LCM 샘플러는 빠르고 고품질의 단계로 선택되어 인터랙티브 반복에 적합합니다. 고정된 시드를 사용하여 체인된 패스 간의 텍스처와 음영을 잠그고, 시드를 변경하여 모션을 동일하게 유지하면서 대안을 탐색합니다.
TrimVideoLatent (#223)#
세그먼트를 체이닝할 때 나타날 수 있는 중복된 첫 프레임을 제거하여 눈에 보이는 솔기를 제거합니다. 더 긴 시퀀스를 만들 때 활성화한 상태로 두고, 단일 패스 클립의 경우 비활성화하세요.
선택적 추가 기능#
- 참조와 드라이빙 비디오 간의 프레이밍을 일관되게 유지하세요. 전체 몸체 대 전체 몸체 또는 중간 샷 대 중간 샷이 가장 잘 작동합니다.
- Wan Animate 2 ComfyUI는 모션을 위해 원본 프레임을 읽으므로, 명확한 실루엣과 최소한의 모션 블러가 있는 드라이빙 클립을 사용하세요.
- 배경을 참조 이미지 배경에 의존하기보다는 긍정적 프롬프트에서 설명하세요; 모델은 텍스트에서 새로운 장면을 생성합니다.
- 출력 fps는 입력 클립을 따릅니다. 모션이 너무 느리거나 빠르게 보이면, 워크플로우를 실행하기 전에 드라이빙 비디오를 리샘플링하세요.
- 메모리가 제한된 GPU의 경우,
WanAnimate2Cache에서 캐시 장치를 cpu로 설정하고 나중에 스티칭할 수 있는 더 짧은 청크를 선호하세요. Video Stitch서브그래프에서의 나란히 출력으로 더 긴 실행을 랜더링하기 전에 모션 충실도를 빠르게 A/B 테스트하세요.
감사의 말#
이 워크플로우는 다음 작업 및 리소스를 구현하고 기반으로 구축됩니다. 우리는 Comfy Org의 "Wan Animate 2는 이제 ComfyUI에서 사용할 수 있습니다" 발표 및 템플릿, Wan-Video의 Wan-Animate-2 코드베이스, Hugging Face의 Wan-Animate-2 모델 가중치 제공으로 기여한 Comfy-Org 및 "Wan Animate 2: Motion Transfer" 워크플로우 템플릿을 제공한 ComfyUI에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하세요.
리소스#
- Comfy Org/Wan Animate 2는 이제 ComfyUI에서 사용할 수 있습니다
- GitHub: Comfy-Org/workflow_templates
- Hugging Face: Comfy-Org/Wan-Animate-2
- Docs / Release Notes: Wan Animate 2는 이제 ComfyUI에서 사용할 수 있습니다
- Wan-Video/Wan-Animate-2
- GitHub: Wan-Video/Wan-Animate-2
- Hugging Face: Wan-AI/Wan2.2-Animate-2-14B
- arXiv: 2608.06009
- Comfy-Org/Wan-Animate-2
- Hugging Face: Comfy-Org/Wan-Animate-2
- arXiv: 2608.06009
- ComfyUI/Wan Animate 2: Motion Transfer
- Docs / Release Notes: Wan Animate 2: Motion Transfer - ComfyUI Workflow
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지보수자가 제공한 라이센스 및 조건의 적용을 받습니다.