Unsampling을 통한 클레이 스타일

이 워크플로우는 Inner-Reflections가 만든 것으로, ComfyUI에서 일관된 스타일 전환을 위한 방법으로 Unsampling을 탐구합니다. Unsampling 사용 방법에 대한 자세한 가이드는 다음을 참조하세요: Consistent Style Transfer with Unsampling.

이 워크플로우를 사용하여 비디오를 클레이 스타일 애니메이션으로 변환할 수 있습니다. 이 과정은 전통적인 스톱 모션 클레이 애니메이션을 연상시키는 매끄럽고 눈에 띄는 클레이메이션 룩을 달성하는 데 최소한의 노력이 필요합니다.

ComfyUI의 Unsampling 과정은 입력 비디오를 원래의 움직임과 구조를 보존하는 잠재적 노이즈로 변환합니다. 무작위 노이즈와 달리, 이 표현적 노이즈는 확산 과정의 기초가 되어 AI가 클레이 스타일을 적용하면서 비디오 프레임 간의 시간적 일관성을 유지할 수 있게 합니다.

클레이 스타일 Unsampling 워크플로우의 주요 구성 요소:

입력: 여기에서 입력 비디오를 업로드합니다. frame_load_cap 설정은 입력에서 로드되는 프레임 수를 제한합니다. select_every_nth 설정은 전체 작업량을 줄이기 위해 프레임을 건너뜁니다. select_every_nth 값을 증가시키면 프로세스가 빨라지지만 최종 클레이 스타일 애니메이션의 부드러움에 영향을 미칠 수 있습니다.

Unsample: Unsample 구성 요소는 euler 샘플링을 활용하여 입력 비디오를 정확하게 나타내는 노이즈를 찾습니다. cfg 스케일을 조정하여 Unsampling 과정을 입력과 더 잘 맞출 수 있습니다. Flip Sigma 노드는 확산 과정을 반전시켜 입력 프레임을 잠재적 노이즈로 변환합니다.

프롬프트: 잘 구성된 프롬프트는 특히 독특한 클레이 스타일을 목표로 할 때 최종 결과를 크게 향상시킬 수 있습니다. 이 스타일을 위한 좋은 긍정적 프롬프트는 "(claymation:1.15), stop motion, (everything made of clay:1.1), beautiful woman dancing."입니다. 이 프롬프트는 모델이 실제 클레이 움직임과 텍스처를 모방하여 애니메이션을 재현하도록 안내합니다.

ControlNet: ControlNet 구성 요소는 Depth ControlNet을 사용하여 원본 비디오의 깊이와 기하학을 유지합니다. 이는 리샘플링 과정이 입력 비디오의 구조를 준수하도록 보장합니다. strength 설정은 ControlNet이 출력에 미치는 영향을 제어하며, 값이 높을수록 더 정확한 구조 유지가 가능합니다.

Resample: Resample 구성 요소는 언샘플된 잠재적 노이즈를 가져와 확산 과정을 다시 실행하여 부드럽고 일관된 클레이메이션 효과를 생성합니다.

출력: 최종 출력 프레임은 개별 이미지로 디코딩되어 저장된 후 업스케일된 MP4 비디오로 결합되어 원래 프레임 속도를 유지하면서 새로운 클레이 스타일 효과를 보여줍니다.

클레이 스타일은 ComfyUI의 이 Unsampling 워크플로우로 달성할 수 있는 많은 흥미로운 가능성 중 하나일 뿐입니다. 다양한 프롬프트와 설정을 실험하여 고유한 스타일을 만들고 비디오를 역동적이고 시각적으로 놀라운 애니메이션으로 변환하는 과정을 즐기세요!