LatentSync| 립싱크 모델

LatentSync는 오디오 조건부 잠재 확산 모델의 힘을 활용하여 현실적인 립싱크 생성을 위한 최첨단 종단간 립싱크 프레임워크입니다. LatentSync의 차별점은 중간 모션 표현에 의존하지 않고 오디오와 비주얼 구성 요소 간의 복잡한 상관관계를 직접 모델링하여 립싱크 합성 접근 방식을 혁신하는 능력에 있습니다.

LatentSync 파이프라인의 핵심은 고품질 이미지를 포착하고 생성하는 뛰어난 능력으로 유명한 강력한 생성 모델인 Stable Diffusion의 통합입니다. Stable Diffusion의 기능을 활용하여 LatentSync는 음성 오디오와 해당 입술 움직임 간의 복잡한 역학을 효과적으로 학습하고 재현하여 매우 정확하고 설득력 있는 립싱크 애니메이션을 생성할 수 있습니다.

확산 기반 립싱크 방법의 주요 과제 중 하나는 생성된 프레임 전반에 걸쳐 시간적 일관성을 유지하는 것으로, 이는 현실적인 결과에 매우 중요합니다. LatentSync는 시간적 일관성을 강화하기 위해 특별히 설계된 획기적인 Temporal REPresentation Alignment (TREPA) 모듈을 통해 이 문제에 정면으로 도전합니다. TREPA는 대규모 자가 지도 비디오 모델을 사용하여 생성된 프레임에서 시간적 표현을 추출하는 고급 기술을 사용합니다. 이러한 표현을 실제 프레임과 정렬함으로써 LatentSync의 프레임워크는 높은 수준의 시간적 일관성을 보장하여 오디오 입력과 매우 잘 맞는 부드럽고 설득력 있는 립싱크 애니메이션을 생성합니다.

1.1 LatentSync 워크플로우 사용 방법?

이것은 LatentSync 워크플로우로, 왼쪽 노드는 비디오 업로드 입력, 중간은 LatentSync 노드 처리, 오른쪽은 출력 노드입니다.

• 입력 노드에 비디오를 업로드하세요.
• 대화 내용의 오디오 입력을 업로드하세요.
• 렌더 버튼을 클릭하세요!!!

1.2 비디오 입력

• 얼굴이 포함된 참조 비디오를 클릭하여 업로드하세요.

비디오는 오디오 모델과 적절히 동기화되도록 25 FPS로 조정됩니다.

1.3 오디오 입력

• 여기에 오디오를 클릭하여 업로드하세요.

LatentSync는 오디오-비주얼 생성에 대한 혁신적인 접근 방식으로 립싱크의 새로운 기준을 설정합니다. 정밀도, 시간적 일관성 및 Stable Diffusion의 힘을 결합하여 LatentSync는 동기화된 콘텐츠 생성 방식을 변혁합니다. LatentSync로 립싱크에서 가능한 것의 한계를 재정의하세요.