Wan2.2 VACE Fun은 ComfyUI를 위한 창의적이고 프롬프트 기반의 참조-비디오 워크플로우입니다. 단일 참조 이미지를 제공하고 텍스트 설명을 입력하면, 그래프는 주제를 일관된 비디오로 애니메이션화하면서 정체성과 스타일을 보존합니다. Wan 2.2 VACE 모듈과 단계적 샘플러에 기반하여, 움직임, 충실도, 실행 시간을 균형 있게 조정하여 개념 릴, 캐릭터 테스트, 짧은 스토리텔링 클립에 이상적입니다.
이 ComfyUI Wan2.2 VACE Fun 워크플로우는 세 가지에 중점을 둡니다: 참조 이미지로부터의 강력한 주제 준수, 프롬프트에 의해 안내되는 표현적인 움직임, MP4 비디오로의 신뢰할 수 있는 내보내기. 시네마틱한 느낌을 유지하면서 빠른 반복이 필요할 때, 또는 복잡한 키프레임 없이 정지 이미지를 동적 장면으로 변환하고 싶을 때 사용하세요.
워크플로우는 단계적으로 실행됩니다: 전역 제어 설정, 참조 이미지 준비, 프롬프트 작성, VACE 조건부 잠재 비디오 생성, 단계적 샘플링을 통해 정제, 디코딩 및 내보내기. 그룹은 최소한의 마찰로 위에서 아래로 작업할 수 있도록 구성되어 있습니다.
이 그룹은 그래프의 나머지가 읽는 제어를 중앙에서 관리합니다: width, height, length (프레임), fps, steps, sampling_shift, 및 seed. 이 값을 한 번 변경하면 모든 하위 노드가 SetNode/GetNode 쌍을 통해 값을 가져옵니다. 해상도와 길이는 품질과 VRAM에 영향을 미치며, fps는 최종 MP4에서 인식되는 움직임을 제어합니다. 참조 이미지에 맞춰 width와 height를 비율 맞추어 유지하여 왜곡을 피하세요. 시드는 실행 간의 재현성을 위해 노출됩니다.
LoadImage (#118)로 주제를 로드한 후, 이미지는 목표 해상도에 맞추기 위해 ImageResizeKJv2 (#112)에서 크기가 조정됩니다. RMBG (#73)는 배경을 제거하여 VACE가 전경 주제에 더 잘 고정되도록 하여 프레임 간의 정체성 일관성을 돕습니다. 미리보기 노드는 생성 전에 잘라낸 부분을 빠르게 검사할 수 있도록 합니다. 처리된 이미지는 참조로 저장되고 이후로 전달됩니다.
프롬프트는 CLIP Text Encode (Positive Prompt) (#56) 및 CLIP Text Encode (Negative Prompt) (#54)를 사용하여 UMT5-XXL 인코더로 인코딩됩니다. 긍정적 프롬프트에 명확한 동작 동사, 카메라 언어, 장면 컨텍스트를 작성하여 움직임과 구성을 지시합니다. 부정적 프롬프트를 사용하여 원치 않는 아티팩트, 스타일 또는 잡동사니를 억제합니다; 다국어 구문이 잘 작동합니다. 출력은 VACE 단계 및 그 다음 샘플러에 대한 풍부한 조건을 제공합니다.
그래프는 Wan 2.2 T2V A14B 가중치를 로드하고 Wan2.2 VACE Fun 모듈을 적용한 다음 안정성을 위해 주의 및 스케줄링을 증강합니다. HIGH 브랜치는 PathchSageAttentionKJ (#8) 및 ModelSamplingSD3 (#57)를 통과하며, LOW 브랜치는 LoraLoaderModelOnly (#61), PathchSageAttentionKJ (#66), 및 ModelSamplingSD3 (#20)를 사용합니다. 이 분할은 초기 패스를 세부사항에 중점을 두고, 움직임에 중점을 둔 정제를 제공합니다. 모든 모델 선택은 미리 연결되어 있으므로, 설정과 프롬프트가 준비되면 그래프를 한 번 실행하기만 하면 됩니다.
WanVaceToVideo (#43)에서는 reference_image, 긍정/부정 조건, VAE를 주입한 다음, width, height, 및 length로 크기 조정된 초기 비디오 잠재 시퀀스를 생성합니다. 이는 정지 이미지가 프롬프트에 따라 "움직이는" 것을 배우는 순간으로 생각하세요. 노드는 재사용을 위한 조건 스트림과 파이프라인 프레임 일관성을 유지하기 위한 잠재 트리밍을 위한 정수를 반환합니다. 실험하지 않는 한 수동 마스크나 제어 비디오는 필요하지 않습니다.
세 단계 샘플러 스택이 결과를 형성합니다. 첫 번째 패스 KSamplerAdvanced (#108)는 전체 구성 및 움직임 신호에 대해 잠재 시퀀스를 시딩합니다. 두 번째 패스 KSamplerAdvanced (#107)는 동일한 조건을 사용하여 세부사항과 시간적 안정성을 깊게 하면서 장면 레이아웃을 보존합니다. 최종 패스 KSamplerAdvanced (#109)는 LOW 변형에서 실행하여 움직임을 다듬고 아티팩트를 줄이며 속도와 품질 사이의 실용적인 균형을 잡습니다. TrimVideoLatent (#65)는 디코딩 전에 프레임을 목표 길이에 맞춥니다.
VAEDecode (#19)는 정제된 잠재 시퀀스를 RGB 프레임으로 변환합니다. VHS_VideoCombine (#69)는 그런 프레임을 선택한 fps로 MP4로 조립하여 합리적인 파일 이름 패턴으로 저장합니다. 이 그룹은 빠른 검토 루프에 최적화되어 있어 프롬프트, 길이, 해상도를 반복할 수 있으며 그래프의 나머지 부분을 건드리지 않고도 가능합니다. 만족하면 동일한 시드를 유지하여 반복 가능성을 높이거나 변경하여 변화를 탐색하세요.
WanVaceToVideo (#43)
Wan2.2 VACE Fun의 핵심: 프롬프트 의미를 참조 이미지에 결합하여 초기 비디오 잠재 시퀀스를 생성합니다. 창의적 목표와 VRAM 예산에 맞추어 width, height, 및 length를 여기에서 조정하세요. 참조 주제를 중심에 두고 잘 조명된 상태로 유지하여 최고의 정체성 보존을 보장하세요. 움직임이 어색하게 느껴지면 긍정적 프롬프트를 수정하여 동작, 카메라 이동, 타이밍 단어를 강조하세요.
KSamplerAdvanced (#108, #107, #109)
구성, 세부사항, 움직임의 매끄러움을 점진적으로 개선하는 단계적 샘플러 체인. 더 많은 세부사항이나 시간적 안정성이 필요할 때 steps를 늘리고 같은 seed를 재사용하여 변화를 공정하게 비교하세요. LOW 변형의 최종 패스는 종종 미세한 아티팩트를 정리합니다; 결과가 너무 부드럽게 보이면 일부 단계를 초기 패스로 옮기세요. sampling_shift는 움직임 강조나 더 미세한 질감을 향해 스케줄을 미세 조정하도록 노출됩니다.
RMBG (#73)
자동 배경 제거는 특히 바쁘거나 대비가 낮은 장면에서 Wan2.2 VACE Fun의 주제 준수를 개선합니다. 고품질의 흐릿하지 않은 참조를 사용하여 잘라내기 오류를 최소화하세요. 자연스러운 배경을 원한다면 나중에 포스트에서 교체하거나 디코딩된 프레임 뒤에 플레이트를 합성하세요.
TrimVideoLatent (#65)
요청한 length에 맞춰 잠재 시퀀스를 정렬합니다. 클립을 늘리거나 줄일 때, 이 노드가 부기 장부를 처리하게 하세요; 그것은 샘플러 단계 전반에 걸친 미세한 프레임 드리프트를 방지합니다.
VHS_VideoCombine (#69)
최종 프레임을 MP4로 인코딩합니다. frame_rate를 조정하여 length에 비해 클립 지속 시간을 제어합니다 (지속 시간은 fps로 나눈 프레임과 같습니다). 최종 전달을 위해 품질을 높이거나 빠른 미리보기를 위해 낮추세요; 더 높은 품질은 파일 크기와 인코딩 시간을 증가시킵니다.
width 및 height에 맞춰 참조 이미지의 비율을 시작하여 늘림 및 원하지 않는 자르기를 피하세요.length 및 fps를 목표와 동기화하세요: 더 높은 fps는 더 부드럽게 보이지만 동일한 프레임 수에 대해 전체 지속 시간을 단축합니다.RMBG를 통해 배경을 단순화하고 프롬프트에 짧은 정체성 조항을 추가하세요 (의상, 색상 또는 장비).이 워크플로우는 다음 작업 및 리소스를 구현하고 기반으로 합니다. 우리는 "Wan2.2 VACE Fun Demo" 워크플로우와 기여 및 유지 관리에 대해 @BenjisAIPlayground님께 감사드립니다. 권위 있는 세부정보는 아래에 링크된 원본 문서 및 저장소를 참조하세요.
참고: 참조된 모델, 데이터셋 및 코드의 사용은 저자 및 유지 관리자가 제공한 해당 라이선스 및 조건에 따릅니다.
RunComfy는 최고의 ComfyUI 플랫폼으로서 ComfyUI 온라인 환경과 서비스를 제공하며 ComfyUI 워크플로우 멋진 비주얼을 제공합니다. RunComfy는 또한 제공합니다 AI Playground, 예술가들이 최신 AI 도구를 활용하여 놀라운 예술을 창조할 수 있도록 지원합니다.
