ToonCrafter est une technique avancée d'IA qui interpole entre deux images de dessins animés en utilisant des priors de diffusion d'images à vidéo pré-entraînés. Cela permet à ToonCrafter de générer des vidéos interpolées à partir de deux images de dessins animés distinctes, créant une transition fluide entre elles. Il prend en charge la génération de vidéos jusqu'à 16 images avec une résolution de 512x320 pixels.
ToonCrafter est un outil d'IA conçu pour créer des animations fluides à partir d'images de dessins animés statiques en utilisant des techniques d'IA avancées. Il utilise des Modèles de Diffusion Latente (LDMs) pour encoder les images dans un espace latent compressé, où du bruit est ajouté puis progressivement supprimé grâce à un processus de débruitage. Cette méthode génère des images intermédiaires entre les images originales, résultant en des animations fluides.
Une caractéristique notable de ToonCrafter est son Apprentissage de Rectification des Dessins Animés. Ce processus adapte le modèle d'IA, initialement entraîné sur des vidéos en direct, pour comprendre et générer des animations de dessins animés. En affinant le modèle avec un grand ensemble de données de vidéos de dessins animés de haute qualité, ToonCrafter apprend les mouvements uniques et les éléments stylistiques des dessins animés, tels que les mouvements exagérés et les textures plus simples.
ToonCrafter intègre également un mécanisme d'Injection et de Propagation de Détails. Cela utilise un décodeur 3D basé sur une double référence pour maintenir la fidélité visuelle des images générées. Le décodeur analyse et injecte des détails au niveau des pixels des images d'entrée dans les nouvelles images, assurant une cohérence avec l'œuvre originale et prévenant les artefacts visuels.
De plus, ToonCrafter offre une génération contrôlable basée sur des croquis, permettant aux animateurs de fournir des croquis qui guident la création des images intermédiaires. Cette fonctionnalité donne aux artistes plus de contrôle sur le processus d'animation, leur permettant de spécifier des poses ou des mouvements particuliers et de s'assurer que l'animation finale correspond à leur vision.
Le nœud ToonCrafter nécessite plusieurs paramètres d'entrée qui déterminent le comportement et le résultat du processus d'interpolation. Voici une explication détaillée de chaque paramètre:
La sortie du nœud ToonCrafter est une séquence d'images interpolées, qui peut être utilisée pour créer une vidéo. Voici ce à quoi vous pouvez vous attendre:
RunComfy est la première ComfyUI plateforme, offrant des ComfyUI en ligne environnement et services, ainsi que des workflows ComfyUI proposant des visuels époustouflants. RunComfy propose également AI Playground, permettant aux artistes d'utiliser les derniers outils d'IA pour créer des œuvres d'art incroyables.
