seedance-1-0/lite/reference-to-video
Crie vídeos dinâmicos a partir de imagens ou textos em segundos
Esta versão permite transformar uma imagem estática em uma animação cinematográfica de retrato usando o modelo FantasyPortrait do Fantasy-AMAP, combinado com o Wan 2.1 e, opcionalmente, um LoRA leve. O sistema preserva a identidade enquanto permite detalhes faciais expressivos, resultando em videoclipes ricos em emoção, ideais para criadores que buscam movimento cinematográfico a partir de um único retrato.
O Fantasy Portrait ajuda você a converter imagens estáticas em animações dinâmicas que mantêm a identidade. Ideal para criadores, artistas e contadores de histórias, ele gera videoclipes expressivos com movimento natural a partir de uma foto de retrato e um vídeo. O resultado é um vídeo MP4 de alta fidelidade, com enquadramento consistente e qualidade cinematográfica refinada.
O modelo FantasyPortrait fornece as incorporações centrais de identidade e expressão, garantindo que os traços do sujeito sejam preservados, ao mesmo tempo em que permite movimentos faciais sutis. É o coração do fluxo de trabalho do Fantasy Portrait. Você pode saber mais através do projeto no GitHub e do respectivo artigo no arXiv.
O WanVideo 2.1 atua como a espinha dorsal de difusão de vídeo, permitindo a geração de animações em alta resolução a partir de retratos e instruções por prompt. Ele gera o conteúdo de vídeo usando tanto condições de imagem quanto de texto, produzindo resultados consistentes e expressivos. Pesos quantizados e compatíveis com Comfy estão disponíveis no pacote de modelos de Kijai no Hugging Face.
Você deve começar fornecendo uma imagem e um vídeo através das entradas Image e Video, que servem como base para a geração do Fantasy Portrait. Defina os valores de Width e Height para determinar as dimensões de saída e use Number of Frames para controlar a duração da animação do retrato. Essas entradas são essenciais para garantir consistência de enquadramento e duração apropriada da animação.
Você pode orientar a qualidade artística ou emocional do resultado adicionando um Prompt com frases descritivas curtas. Se desejar, é possível ajustar Seed para variar a aleatoriedade entre as gerações, Shift para influenciar o tempo do movimento e Steps para refinar a precisão da amostragem. Esses controles opcionais permitem experimentar variações estilísticas, mantendo a identidade do sujeito preservada.
O fluxo de trabalho gera um vídeo MP4 de alta qualidade, com padrão de 16 fps e formato yuv420p, conforme descrito no Readme. Esse resultado é construído a partir do retrato original, combinado com as incorporações e prompts, para criar movimento cinematográfico e cheio de expressão. O resultado final é um clipe de animação Fantasy Portrait polido.
Para alcançar os melhores resultados, utilize uma imagem de retrato limpa e bem iluminada como ponto de partida. Use, no vídeo de referência, animações condizentes com o movimento esperado. Mantenha seu Prompt conciso e focado em aspectos como atmosfera ou iluminação, em vez de detalhes de identidade. Ajustes moderados em Steps podem melhorar a nitidez dos visuais, enquanto prompts curtos garantem expressões mais naturais. Sempre verifique se Width, Height e Number of Frames correspondem ao enquadramento e à duração desejados.
Crie vídeos dinâmicos a partir de imagens ou textos em segundos
Transforme imagens em vídeos envolventes com Hailuo 2.3 e controle artístico total.
Transforme imagens estáticas em clipes de vídeo cinematográficos com transições suaves e realistas e flexibilidade criativa – powered by Seedance 1.5 Pro.
Crie vídeos realistas em alta definição a partir de texto com Kling 2.1.
Crie vídeos fluidos e realistas a partir de duas imagens com alta fidelidade
Crie vídeos HD realistas a partir de texto com o Hailuo 02.
RunComfy is the premier ComfyUI platform, offering ComfyUI online environment and services, along with ComfyUI workflows featuring stunning visuals. RunComfy also provides AI Models, enabling artists to harness the latest AI tools to create incredible art.