fantasy-portrait/image-to-video

Introdução ao Fantasy Portrait

Esta versão permite transformar uma imagem estática em uma animação cinematográfica de retrato usando o modelo FantasyPortrait do Fantasy-AMAP, combinado com o Wan 2.1 e, opcionalmente, um LoRA leve. O sistema preserva a identidade enquanto permite detalhes faciais expressivos, resultando em videoclipes ricos em emoção, ideais para criadores que buscam movimento cinematográfico a partir de um único retrato.

O Fantasy Portrait ajuda você a converter imagens estáticas em animações dinâmicas que mantêm a identidade. Ideal para criadores, artistas e contadores de histórias, ele gera videoclipes expressivos com movimento natural a partir de uma foto de retrato e um vídeo. O resultado é um vídeo MP4 de alta fidelidade, com enquadramento consistente e qualidade cinematográfica refinada.

Modelos Principais do Fantasy Portrait

FantasyPortrait (Fantasy-AMAP)

O modelo FantasyPortrait fornece as incorporações centrais de identidade e expressão, garantindo que os traços do sujeito sejam preservados, ao mesmo tempo em que permite movimentos faciais sutis. É o coração do fluxo de trabalho do Fantasy Portrait. Você pode saber mais através do projeto no GitHub e do respectivo artigo no arXiv.

WanVideo 2.1 I2V (14B, 720p)

O WanVideo 2.1 atua como a espinha dorsal de difusão de vídeo, permitindo a geração de animações em alta resolução a partir de retratos e instruções por prompt. Ele gera o conteúdo de vídeo usando tanto condições de imagem quanto de texto, produzindo resultados consistentes e expressivos. Pesos quantizados e compatíveis com Comfy estão disponíveis no pacote de modelos de Kijai no Hugging Face.

Como Usar o Fantasy Portrait

Entradas Necessárias

Você deve começar fornecendo uma imagem e um vídeo através das entradas Image e Video, que servem como base para a geração do Fantasy Portrait. Defina os valores de Width e Height para determinar as dimensões de saída e use Number of Frames para controlar a duração da animação do retrato. Essas entradas são essenciais para garantir consistência de enquadramento e duração apropriada da animação.

Entradas e Controles Opcionais

Você pode orientar a qualidade artística ou emocional do resultado adicionando um Prompt com frases descritivas curtas. Se desejar, é possível ajustar Seed para variar a aleatoriedade entre as gerações, Shift para influenciar o tempo do movimento e Steps para refinar a precisão da amostragem. Esses controles opcionais permitem experimentar variações estilísticas, mantendo a identidade do sujeito preservada.

Saídas

O fluxo de trabalho gera um vídeo MP4 de alta qualidade, com padrão de 16 fps e formato yuv420p, conforme descrito no Readme. Esse resultado é construído a partir do retrato original, combinado com as incorporações e prompts, para criar movimento cinematográfico e cheio de expressão. O resultado final é um clipe de animação Fantasy Portrait polido.

Melhores Práticas

Para alcançar os melhores resultados, utilize uma imagem de retrato limpa e bem iluminada como ponto de partida. Use, no vídeo de referência, animações condizentes com o movimento esperado. Mantenha seu Prompt conciso e focado em aspectos como atmosfera ou iluminação, em vez de detalhes de identidade. Ajustes moderados em Steps podem melhorar a nitidez dos visuais, enquanto prompts curtos garantem expressões mais naturais. Sempre verifique se Width, Height e Number of Frames correspondem ao enquadramento e à duração desejados.