kling-2-1/master/image-to-video
Transforme imagens e textos em vídeos HD com movimento realista.
Esta versão permite transformar uma imagem estática em uma animação cinematográfica de retrato usando o modelo FantasyPortrait do Fantasy-AMAP, combinado com o Wan 2.1 e, opcionalmente, um LoRA leve. O sistema preserva a identidade enquanto permite detalhes faciais expressivos, resultando em videoclipes ricos em emoção, ideais para criadores que buscam movimento cinematográfico a partir de um único retrato.
O Fantasy Portrait ajuda você a converter imagens estáticas em animações dinâmicas que mantêm a identidade. Ideal para criadores, artistas e contadores de histórias, ele gera videoclipes expressivos com movimento natural a partir de uma foto de retrato e um vídeo. O resultado é um vídeo MP4 de alta fidelidade, com enquadramento consistente e qualidade cinematográfica refinada.
O modelo FantasyPortrait fornece as incorporações centrais de identidade e expressão, garantindo que os traços do sujeito sejam preservados, ao mesmo tempo em que permite movimentos faciais sutis. É o coração do fluxo de trabalho do Fantasy Portrait. Você pode saber mais através do projeto no GitHub e do respectivo artigo no arXiv.
O WanVideo 2.1 atua como a espinha dorsal de difusão de vídeo, permitindo a geração de animações em alta resolução a partir de retratos e instruções por prompt. Ele gera o conteúdo de vídeo usando tanto condições de imagem quanto de texto, produzindo resultados consistentes e expressivos. Pesos quantizados e compatíveis com Comfy estão disponíveis no pacote de modelos de Kijai no Hugging Face.
Você deve começar fornecendo uma imagem e um vídeo através das entradas Image e Video, que servem como base para a geração do Fantasy Portrait. Defina os valores de Width e Height para determinar as dimensões de saída e use Number of Frames para controlar a duração da animação do retrato. Essas entradas são essenciais para garantir consistência de enquadramento e duração apropriada da animação.
Você pode orientar a qualidade artística ou emocional do resultado adicionando um Prompt com frases descritivas curtas. Se desejar, é possível ajustar Seed para variar a aleatoriedade entre as gerações, Shift para influenciar o tempo do movimento e Steps para refinar a precisão da amostragem. Esses controles opcionais permitem experimentar variações estilísticas, mantendo a identidade do sujeito preservada.
O fluxo de trabalho gera um vídeo MP4 de alta qualidade, com padrão de 16 fps e formato yuv420p, conforme descrito no Readme. Esse resultado é construído a partir do retrato original, combinado com as incorporações e prompts, para criar movimento cinematográfico e cheio de expressão. O resultado final é um clipe de animação Fantasy Portrait polido.
Para alcançar os melhores resultados, utilize uma imagem de retrato limpa e bem iluminada como ponto de partida. Use, no vídeo de referência, animações condizentes com o movimento esperado. Mantenha seu Prompt conciso e focado em aspectos como atmosfera ou iluminação, em vez de detalhes de identidade. Ajustes moderados em Steps podem melhorar a nitidez dos visuais, enquanto prompts curtos garantem expressões mais naturais. Sempre verifique se Width, Height e Number of Frames correspondem ao enquadramento e à duração desejados.
Transforme imagens e textos em vídeos HD com movimento realista.
Insira pessoas ou objetos em vídeos com edição de imagem para vídeo.
Edite vídeos com estilo, controle de luz e geração por texto
Transforme imagens estáticas em conteúdo de vídeo sincronizado com movimento e alta definição com controle flexível usando Wan 2.6.
Crie vídeos com áudio a partir de texto usando o Wan 2.5.
Refine estilos visuais e adicione efeitos únicos com IA criativa
RunComfy é a principal ComfyUI plataforma, oferecendo ComfyUI online ambiente e serviços, juntamente com fluxos de trabalho do ComfyUI apresentando visuais impressionantes. RunComfy também oferece AI Models, permitindo que artistas utilizem as mais recentes ferramentas de AI para criar arte incrível.