fantasy-portrait/image-to-video

Fantasy Portrait 소개

이번 릴리스를 통해 정지 이미지를 Fantasy-AMAP의 FantasyPortrait 모델과 Wan 2.1, 그리고 선택적인 경량 LoRA를 결합하여 영화적인 Fantasy Portrait 애니메이션으로 변환할 수 있습니다. 이 시스템은 인물의 정체성을 유지하면서도 풍부한 감정 표현과 세밀한 얼굴 움직임을 구현하여, 한 장의 초상 사진으로도 영화 같은 움직임을 원하는 창작자에게 감성적인 비디오 클립을 제공합니다.

Fantasy Portrait는 정지 이미지를 생동감 있고 인물의 정체성을 보존한 애니메이션으로 바꿔 줍니다. 크리에이터, 아티스트, 스토리텔러에게 이상적이며, 인물 사진과 영상으로부터 자연스럽고 생동감 있는 영상을 생성합니다. 결과물은 안정적인 구도와 세련된 영화적 품질을 갖춘 고품질 MP4 비디오로 출력됩니다.

Fantasy Portrait의 핵심 모델

FantasyPortrait (Fantasy-AMAP)

FantasyPortrait 모델은 인물의 정체성과 표정 인식을 기반으로 한 임베딩을 제공합니다. 이를 통해 피사체의 특징을 유지하면서도 섬세한 얼굴 움직임을 구현할 수 있습니다. 이 모델은 Fantasy Portrait 워크플로의 중심에 있으며, 자세한 내용은 GitHub project와 관련 arXiv 논문에서 확인할 수 있습니다.

WanVideo 2.1 I2V (14B, 720p)

WanVideo 2.1은 영상 확산 기반의 백본(backbone) 역할을 하며, 초상 이미지와 프롬프트 가이드를 이용해 고해상도 애니메이션을 생성합니다. 이미지와 텍스트 조건을 함께 활용하여 일관되고 다채로운 영상을 샘플링할 수 있습니다. 양자화된 Comfy 호환 가중치는 Kijai의 Hugging Face 모델 팩에서 이용할 수 있습니다.

Fantasy Portrait 사용 방법

필수 입력

작업을 시작하려면 Image와 Video 입력을 통해 정지 이미지와 영상을 제공해야 합니다. 이들은 Fantasy Portrait 생성의 기반이 됩니다. 출력 해상도를 설정하기 위해 Width와 Height 값을 지정하고, Number of Frames로 애니메이션의 재생 길이를 조정할 수 있습니다. 이러한 입력값은 구도의 일관성과 적절한 애니메이션 길이를 보장하는 데 필수적입니다.

선택 입력 및 제어 옵션

출력의 예술적 또는 감정적 분위기를 조정하려면 간단한 설명이 담긴 Prompt를 추가할 수 있습니다. 필요에 따라 Seed를 조정해 생성 간 무작위성을 제어하거나 Shift를 이용해 움직임의 타이밍을 조절할 수 있으며, Steps를 변경해 샘플링 정밀도를 세밀하게 다듬을 수 있습니다. 이러한 선택적 제어 기능을 사용하면 인물의 정체성을 유지한 채 다양한 스타일 실험이 가능합니다.

출력

워크플로는 기본적으로 16 fps의 yuv420p 형식으로 고품질 MP4 비디오를 생성합니다. 이 출력물은 입력 초상 이미지, 임베딩, 프롬프트가 결합되어 영화적이고 감정이 풍부한 움직임으로 구성됩니다. 결과적으로 세련된 Fantasy Portrait 애니메이션 클립이 완성됩니다.

모범 활용 팁(Best Practices)

최상의 결과를 얻으려면 배경이 깔끔하고 조명이 잘 잡힌 초상 이미지를 사용하세요. 업로드하는 영상은 예상되는 움직임을 충분히 반영하는 것이 좋습니다. Prompt는 인물의 정체성보다 분위기나 조명에 초점을 맞춰 간결하게 작성하세요. Steps 값을 적당히 조정하면 시각 품질을 향상시킬 수 있으며, 짧고 명료한 프롬프트는 자연스러운 표정을 유지하는 데 도움이 됩니다. 또한 Width, Height, Number of Frames가 원하는 구도와 길이에 맞는지 항상 확인하세요.