이 ComfyUI Wan 2.2 VACE 워크플로우는 단일 참조 이미지를 소스 클립의 포즈, 리듬 및 카메라 움직임을 따르는 동작 일치 비디오로 변환합니다. Wan 2.2 VACE를 사용하여 정체성을 보존하면서 복잡한 신체 동작을 부드럽고 현실적인 애니메이션으로 변환합니다.
댄스 생성, 모션 전송 및 창의적인 캐릭터 애니메이션을 위해 설계된 이 워크플로우는 참조 이미지에서 스타일 프롬프트를 자동화하고, 소스 비디오에서 모션 신호를 추출하며, 모션 일관성과 세부사항을 균형 있게 조정하는 두 단계의 Wan 2.2 샘플러를 실행합니다.
워크플로우는 다섯 개의 그룹화된 단계로 나뉩니다: 입력, 프롬프트, 모델, 샘플링, 출력. 참조 이미지 하나와 짧은 모션 비디오 하나를 제공합니다. 그래프는 모션 안내를 계산하고, VACE 정체성 기능을 인코딩하며, 두 번의 Wan 2.2 샘플러를 실행하고 최종 애니메이션과 선택적 사이드바이사이드 미리보기를 저장합니다.
VHS_LoadVideo (#141)에서 모션 소스 클립을 로드합니다. 간단한 컨트롤로 트림하고 메모리 한도를 설정할 수 있습니다. 프레임은 일관성을 위해 크기가 조정된 후 DepthAnythingV2Preprocessor (#135)가 포즈, 레이아웃 및 카메라 움직임을 포착하는 밀집 깊이 시퀀스를 계산합니다. LoadImage (#113)로 정체성 이미지를 로드합니다; 자동으로 크기가 조정되고 미리보기되어 샘플링 전 프레이밍을 확인할 수 있습니다.
Florence2Run (#137)이 참조 이미지를 분석하고 자세한 캡션을 반환합니다. Style Prompt (#138)이 그 캡션을 짧은 스타일 문구와 연결한 후, WanVideoTextEncode (#16)가 UMT5-XXL을 사용하여 최종 긍정적 및 부정적 프롬프트를 인코딩합니다. 스타일 문구를 자유롭게 편집하거나 창의적인 방향을 강화하려면 긍정적 프롬프트를 완전히 교체할 수 있습니다. 이 프롬프트 임베딩은 두 샘플러 단계를 조건화하여 생성된 비디오가 참조에 충실하도록 유지합니다.
WanVideoVAELoader (#38)이 인코딩/디코딩에 사용되는 Wan VAE를 로드합니다. 두 개의 WanVideoModelLoader 노드가 Wan 2.2 14B 모델을 준비합니다: 하나는 고노이즈, 하나는 저노이즈로 각각 WanVideoExtraModelSelect (#99, #107)에서 선택된 VACE 모듈로 보강됩니다. 선택적 정제 LoRA는 WanVideoLoraSelect (#56, #97)를 통해 첨부되어 기본 모델을 변경하지 않고 선명도나 스타일을 조정할 수 있습니다. 이 구성은 VACE 가중치, LoRA 또는 노이즈 변종을 교체할 수 있도록 설계되어 그래프의 나머지 부분을 건드리지 않고도 가능합니다.
WanVideoVACEEncode (#100)이 세 가지 신호를 VACE 임베딩으로 융합합니다: 모션 시퀀스 (깊이 프레임), 참조 이미지 및 대상 비디오 기하학. 첫 번째 WanVideoSampler (#27)는 고노이즈 모델을 사용하여 모션, 관점 및 전반적인 스타일을 확립하기 위해 분할 단계까지 실행됩니다. 두 번째 WanVideoSampler (#90)는 그 잠재 상태에서 계속하여 저노이즈 모델로 텍스처, 가장자리 및 작은 세부사항을 회복하면서 모션을 소스에 고정합니다. 짧은 CFG 스케줄과 단계 분할은 각 단계가 결과에 얼마나 영향을 미치는지를 제어합니다.
WanVideoDecode (#28)이 최종 잠재 상태를 프레임으로 변환합니다. 두 개의 저장된 비디오를 얻습니다: 깨끗한 렌더와 참조 옆에 생성된 프레임을 배치하는 사이드바이사이드 합성. 별도의 “Depth Map Preview”가 추론된 깊이 시퀀스를 보여주어 모션 안내를 한눈에 진단할 수 있습니다. 프레임 속도 및 파일명 설정은 VHS_VideoCombine 출력 (#139, #60, #144)에서 사용할 수 있습니다.
WanVideoVACEEncode (#100)두 샘플러에서 사용되는 VACE 정체성과 기하학 임베딩을 생성합니다. 모션 프레임과 참조 이미지를 제공하십시오; 노드는 너비, 높이 및 프레임 수를 처리합니다. 지속 시간이나 비율을 변경하면 이 노드를 목표 비디오 레이아웃과 일치하도록 동기화하십시오.
WanVideoSampler (#27)고노이즈 Wan 2.2 모델을 사용하는 첫 번째 단계 샘플러. steps, 짧은 cfg 스케줄, end_step 분할을 조정하여 모션 형성에 할당되는 궤적의 양을 결정합니다. 큰 모션 또는 카메라 변경은 약간 늦은 분할에서 더 이익을 얻습니다.
WanVideoSampler (#90)저노이즈 Wan 2.2 모델을 사용하는 두 번째 단계 샘플러. start_step을 동일한 분할 값으로 설정하여 첫 번째 단계에서 매끄럽게 계속됩니다. 텍스처가 과도하게 날카롭거나 드리프트가 발생하면 나중 cfg 값을 줄이거나 LoRA 강도를 낮추십시오.
DepthAnythingV2Preprocessor (#135)소스 비디오에서 안정적인 깊이 시퀀스를 추출합니다. 깊이를 모션 안내로 사용하면 Wan 2.2 VACE가 장면 레이아웃, 손 포즈 및 폐색을 유지하는 데 도움이 됩니다. 빠른 반복을 위해 입력 프레임을 더 작게 조정할 수 있습니다; 최종 렌더링을 위해 더 높은 해상도의 프레임을 제공하여 구조적 충실도를 높이십시오.
WanVideoTextEncode (#16)긍정적 및 부정적 프롬프트를 UMT5-XXL로 인코딩합니다. 프롬프트는 Florence2Run에서 자동으로 생성되지만, 아트 방향을 위해 이를 무시할 수 있습니다. 프롬프트를 간결하게 유지하십시오; VACE 정체성 안내로 인해 더 적은 키워드가 종종 더 깔끔하고 덜 제한적인 모션 전송을 제공합니다.
이 워크플로우는 다음 작업 및 리소스를 구현하고 기반으로 합니다. 우리는 워크플로우를 위한 Wan 2.2 VACE Source의 ComfyUI 커뮤니티 창작자들의 기여와 유지보수에 감사드립니다. 권위 있는 세부정보는 아래 링크된 원본 문서 및 저장소를 참조하십시오.
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지보수자가 제공하는 라이선스 및 조건에 따릅니다.
RunComfy는 최고의 ComfyUI 플랫폼으로서 ComfyUI 온라인 환경과 서비스를 제공하며 ComfyUI 워크플로우 멋진 비주얼을 제공합니다. RunComfy는 또한 제공합니다 AI Playground, 예술가들이 최신 AI 도구를 활용하여 놀라운 예술을 창조할 수 있도록 지원합니다.
