SkyReels-A2 : Technologie Avancée d'Element-à-Video
1. Qu'est-ce que le Workflow ComfyUI SkyReels-A2 ?
SkyReels-A2 est un workflow avancé d'Element-à-Video (E2V) qui combine plusieurs images de référence en vidéos fluides et dynamiquement générées. Développée par Skywork AI, cette technologie SkyReels-A2 vous permet d'intégrer des personnages, des objets et des arrière-plans tout en maintenant l'identité et la fidélité visuelle de chaque élément. Contrairement aux approches traditionnelles d'image-à-vidéo, SkyReels-A2 aborde spécifiquement le défi de préserver la fidélité des références pour chaque élément tout en créant des interactions naturelles entre eux, ce qui le rend idéal pour les démonstrations de produits virtuels, les animations de personnages et les compositions de scènes complexes avec l'intégration ComfyUI de SkyReels-A2.
2. Avantages du ComfyUI SkyReels-A2 :
- Intégration Multi-Élément avec SkyReels-A2: Combinez trois éléments de référence distincts (personne, objet/autre personne et scène) en une vidéo cohérente.
- Préservation de l'Identité: SkyReels-A2 maintient une haute fidélité aux images de référence tout en créant des mouvements et interactions naturels.
- Composition Flexible: Contrôlez les relations entre les éléments à travers des invites textuelles qui décrivent leurs interactions avec le système SkyReels-A2.
- Contrôle de Résolution: Ce workflow SkyReels-A2 vous permet d'ajuster les résolutions des images d'entrée pour différents types de scènes.
- Suppression de l'Arrière-plan: Isole automatiquement les sujets des arrière-plans pour une meilleure composition.
- Contrôle Précis du Padding: Ajustez finement le placement et la proéminence des éléments avec des calculs mathématiques de padding dans SkyReels-A2.
- Intégration Transparente: Compatible avec la technologie de génération vidéo WAN2.1 pour des résultats de haute qualité avec SkyReels-A2.
3.1 Processus de Préparation d'Image SkyReels-A2
Préparation des Images d'Éléments pour SkyReels-A2 :
Le workflow SkyReels-A2 a 3 principaux groupes d'images :
Subject1Image dans SkyReels-A2 : Le personnage principal/personne
- Chargez votre image dans le groupe "Subject1Image"
- Utilisez le nœud Mask Bounding Box pour obtenir un cadrage optimal
- Appliquez Simple Math pour le calcul du padding (a-40)
- Redimensionnez à 640×480 ou 832×480 (selon le type de scène)
- Utilisez ImageCompositeMasked pour placer le sujet sur un arrière-plan propre
Subject2Image dans SkyReels-A2 : L'objet ou le personnage secondaire/personne
- Chargez votre image dans le groupe "Subject2Image"
- Utilisez le nœud Mask Bounding Box pour obtenir un cadrage optimal
- Appliquez Simple Math pour le calcul du padding (a-40)
- Placez sur un arrière-plan propre en utilisant ImageCompositeMasked
- Redimensionnez pour correspondre à la résolution de votre image de sujet
Important : Pour les objets plus petits comme les stylos, brosses ou articles tenus à la main, ajustez le paramètre de largeur dans le nœud Resize Image à une valeur inférieure (10-20) tout en gardant keep_proportion réglé sur true. Cela contrôle la taille relative de votre objet dans la composition finale et évite que les objets n'apparaissent de manière anormalement grande lorsqu'ils sont tenus par des personnages.
BackgroundImage pour SkyReels-A2 : L'environnement
- Chargez votre image dans le groupe "BackgroundImage"
- Redimensionnez pour correspondre à votre résolution choisie (640×480 ou 832×480)
- Appliquez un recadrage central pour maintenir le rapport d'aspect
- Utilisez une valeur divisible_by plus élevée (16) pour assurer la compatibilité avec SkyReels-A2
3.2 Processus de Composition d'Élément SkyReels-A2
Assemblage en Lot SkyReels-A2 :
- Réglez l'ImageBatchRepeatInterleaving à 4 répétitions
- Assurez-vous que toutes les images maintiennent la même résolution et le même rapport d'aspect pour un traitement optimal de SkyReels-A2
3.3 Paramètres de Génération Vidéo SkyReels-A2
Encodage de Texte SkyReels-A2 :
- Configurez votre invite pour décrire la relation entre les éléments
- Assurez-vous que les trois éléments sont mentionnés
3.4 Directives de Résolution SkyReels-A2
Pour les Portraits en Gros Plan dans SkyReels-A2 :
- Utilisez une résolution de 640×480
- Ajustez le padding à 20px sur tous les côtés (formule a-40)
Pour les Prises de Vue en Pied avec SkyReels-A2 :
- Utilisez une résolution de 832×480
- Ajustez le padding pour maintenir un cadrage approprié
Pour Plusieurs Sujets dans SkyReels-A2 :
- Expérimentez avec différentes valeurs de padding pour contrôler la proéminence des éléments
4. Explication Technique de la Technologie E2V SkyReels-A2
Le workflow SkyReels-A2 utilise une approche d'encodage à deux branches :
- Encodage de Caractéristiques Générales dans SkyReels-A2 : Le CLIP Vision Encoder extrait des représentations similaires à des jetons semblables à des invites textuelles
- Encodage de Caractéristiques Spatiales avec SkyReels-A2 : Le 3D VAE Encoder capture les caractéristiques spatiales détaillées de chaque élément
Ces encodages sont combinés avec des invites textuelles qui décrivent la relation souhaitée entre les éléments.
Gestion de la VRAM SkyReels-A2 :
- La note dans le workflow SkyReels-A2 avertit que des tailles de lot de 10 peuvent facilement causer des erreurs de mémoire insuffisante
- Pour les tests, utilisez 33 images ; augmentez pour la production finale SkyReels-A2
Nœuds d'Optimisation SkyReels-A2 :
- Use_jit: true (pour les deux nœuds de suppression d'arrière-plan dans SkyReels-A2)
- WanVideo TECache : activé avec latent_scale_factor : 0.25
- Gestion de la VRAM WanVideo : offload_percent : 1.00
- Activez l'option use_non_blocking pour une meilleure efficacité mémoire avec SkyReels-A2
Remerciements
Ce workflow est basé sur le modèle SkyReels-A2 développé par l'équipe de recherche Skywork AI. Le modèle original et la recherche sont disponibles sur SkyworkAI/SkyReels-A2. La mise en œuvre ComfyUI de SkyReels-A2 est fournie par Yuan-ManX. Tout le crédit revient aux auteurs originaux pour leur travail innovant dans les transformateurs de diffusion vidéo et la technologie d'élément-à-vidéo SkyReels-A2.
