Sonic | 립싱크 초상화 애니메이션

ComfyUI Sonic은 글로벌 오디오 인식을 활용하여 초현실적인 얼굴 움직임과 표정을 구현함으로써 초상화 애니메이션을 재정의합니다. 전통적인 방법과 달리, 음소를 넘어서는 말의 전체 컨텍스트를 포착하여 유동적이고 감정이 풍부한 애니메이션을 생성합니다. 최첨단 AI 기술로 Sonic은 음성과 시각의 완벽한 동기화를 보장하여 캐릭터에 뛰어난 현실감을 부여합니다. Sonic으로 애니메이션을 향상시키고 모든 표현이 진정으로 살아 있는 것처럼 느껴지도록 하세요.

ComfyUI Sonic 노드 및 관련 워크플로우는 smthemex에 의해 개발되었습니다. 자세한 내용은 smthemex의 GitHub를 방문하세요.

1.1 Sonic 워크플로우 사용 방법?

왼쪽 노드는 오디오 및 아바타 이미지에 대한 입력입니다. 가운데는 Sonic 처리 노드입니다. 오른쪽은 비디오 출력용 비디오 결합 노드입니다.

다음 단계를 따르세요:

1. 대화를 오디오에서 시각화하는 데 사용될 아바타 이미지를 입력하세요.
2. 삽입된 이미지의 오디오 기반 음성 오버를 생성하기 위한 오디오를 입력하세요.
3. Queue Prompt를 클릭하세요!!

완료! 렌더링된 비디오는 Outputs 폴더에 저장됩니다.

Sonic의 강점과 약점:

강점:

• Sonic은 오디오에 의해 구동되는 매우 현실적이고 표현력 있는 초상화 애니메이션을 생성합니다.
• Sonic은 SVD를 사용하므로 프레임 간 깜박임이 없습니다.
• 일관성은 이전에 출시된 audio2video 모델보다 뛰어납니다.

약점:

• Sonic은 SVD를 사용하므로, 멀리 있거나 전체 신체 샷은 얼굴에 음성을 적절히 투영하는 데 어려움을 겪을 수 있습니다.
• 측면 얼굴 또는 복잡한 각도의 얼굴은 왜곡된 결과를 나타낼 수 있습니다.

1.2 Sonic 오디오 및 비디오 입력

• 오디오 노드에 오디오를 업로드하세요 (대화 또는 보컬)
• 이미지 노드에 이미지를 업로드하세요 (인물의 클로즈업 또는 중간 샷)

1.3 Sonic 처리 노드

ComfyUI Sonic은 SVD 모델을 기반으로 처리되므로 결과와 설정은 SVD 모델에 따라 결정됩니다. 이 설정은 최적화되어 있으며, 변경할 필요는 없습니다.

• min resolution을 768 근처나 그 이하로 유지하세요, 왜곡이나 왜곡된 손과 같은 아티팩트가 있는 경우.

Sonic은 글로벌 오디오 인식을 중심으로 초상화 애니메이션을 변형시켜 매끄럽고 생생한 표현을 제공합니다. 말의 깊이를 완전히 포착하여 자연스럽고 감정적이며 몰입감 있는 애니메이션을 만듭니다. 스토리텔링, 가상 아바타 또는 콘텐츠 제작을 위해 Sonic은 뛰어난 현실감을 제공합니다. Sonic과 함께 애니메이션의 미래로 나아가세요—모든 단어가 생명력을 얻습니다.