Portrait en direct avancé | Contrôle des paramètres

1. Qu'est-ce que le Workflow avancé de portrait en direct de ComfyUI ?

Le workflow avancé de portrait en direct dans ComfyUI est un outil puissant qui vous permet de créer des animations réalistes en modifiant les expressions faciales directement dans les photos et vidéos. Il porte l'animation faciale à un niveau supérieur en fournissant un ensemble de nœuds et de paramètres qui vous permettent d'affiner divers aspects du visage, tels que les mouvements de tête, les clignements d'yeux, les mouvements des sourcils, les positions des pupilles, les formes de la bouche et les sourires.

Comparé à l'outil précédent Live Portrait, qui pouvait animer des images statiques en se référant à une vidéo source, Advanced Live Portrait offre des fonctionnalités plus avancées et un plus grand contrôle sur les expressions faciales. Avec Advanced Live Portrait, vous pouvez ajuster des paramètres individuels pour modifier précisément les expressions faciales dans vos images et créer des animations uniques.

2. Avantages du Portrait en direct avancé :

• Donne vie aux photos statiques en ajoutant des mouvements et des expressions naturels, les rendant plus engageantes et dynamiques.
• Offre un haut niveau de contrôle sur les animations générées grâce à des paramètres personnalisables, vous permettant d'affiner chaque aspect des expressions faciales.
• Vous permet de combiner plusieurs mouvements et expressions pour créer des animations complexes et réalistes.
• Prend en charge l'utilisation de vidéos de référence pour piloter les expressions faciales et les mouvements dans le résultat animé.

3. Comment utiliser le Workflow avancé de portrait en direct dans ComfyUI

Advanced Live Portrait est un outil puissant au sein de ComfyUI qui vous permet de créer des animations réalistes en modifiant les expressions faciales dans les photos et vidéos. Ce tutoriel vous guidera à travers le processus d'utilisation du workflow Advanced Live Portrait pour obtenir des résultats époustouflants.

3.1. Édition des expressions faciales dans les photos avec Advanced Live Portrait

La première étape du workflow Advanced Live Portrait consiste à utiliser le nœud Expression Editor (PHM) pour modifier les expressions faciales dans vos photos. Ce nœud offre une large gamme de paramètres qui vous permettent d'affiner divers aspects du visage, tels que les mouvements de tête, les clignements d'yeux, les mouvements des sourcils, les positions des pupilles, les formes de la bouche et les sourires.

Paramètres de l'éditeur d'expressions dans Advanced Live Portrait :

• rotate_pitch : Contrôle le mouvement de haut en bas de la tête.
• rotate_yaw : Ajuste le mouvement latéral de la tête.
• rotate_roll : Détermine l'angle d'inclinaison de la tête.
• blink : Contrôle l'intensité des clignements d'yeux.
• eyebrow : Ajuste les mouvements des sourcils.
• wink : Contrôle le clin d'œil.
• pupil_x : Déplace les pupilles horizontalement.
• pupil_y : Déplace les pupilles verticalement.
• aaa : Contrôle la forme de la bouche pour le son vocalique "aaa".
• eee : Contrôle la forme de la bouche pour le son vocalique "eee".
• woo : Contrôle la forme de la bouche pour le son vocalique "woo".
• smile : Ajuste le degré d'un sourire.
• src_ratio : Détermine le ratio de l'expression source à appliquer.
• sample_ratio : Détermine le ratio de l'expression échantillon à appliquer.
• sample_parts : Spécifie les parties de l'expression échantillon à appliquer ("OnlyExpression", "OnlyRotation", "OnlyMouth", "OnlyEyes", "All").
• crop_factor : Contrôle le facteur de recadrage de la région du visage.

En ajustant ces paramètres dans le workflow Advanced Live Portrait, vous pouvez contrôler précisément les expressions faciales dans vos photos et créer l'apparence souhaitée.

3.2. Ajout de plusieurs mouvements dans Advanced Live Portrait

Advanced Live Portrait vous permet de créer des animations complexes en combinant plusieurs mouvements. Pour ajouter plus de mouvements, il suffit de dupliquer le nœud Expression Editor (PHM) et d'ajuster les paramètres en conséquence. Chaque nœud Expression Editor (PHM) supplémentaire représente un nouveau mouvement (par exemple, mouvement 2, mouvement 3, etc.).

La séquence des nœuds Expression Editor (PHM) détermine l'indice de mouvement utilisé dans les nœuds Advanced Live Portrait subséquents. Dans le workflow fourni, il y a 4 nœuds Expression Editor (PHM), représentant motion1, motion2, motion3, et motion4. Vous pouvez facilement ajouter ou supprimer des nœuds pour créer des expressions et mouvements faciaux plus avancés dans le workflow Advanced Live Portrait.

3.3. Combinaison des mouvements avec le nœud Advanced Live Portrait

Le nœud Advanced Live Portrait est le composant central du workflow Advanced Live Portrait. Il combine plusieurs mouvements pour générer une vidéo. Le nœud vous permet de spécifier la séquence et la durée de chaque mouvement en utilisant un format spécifique dans l'entrée "command" :

• Le premier chiffre représente l'indice de mouvement (par exemple, 0 pour le mouvement source original, 1 pour le mouvement 1, etc.).
• Le deuxième chiffre représente la longueur de la transition en frames (par exemple, 5 signifie qu'il faut 5 frames pour passer au mouvement suivant).
• Le troisième chiffre représente la longueur des frames en attente du mouvement suivant (par exemple, 3 signifie qu'il reste sur le mouvement actuel pendant 3 frames avant de passer au suivant).

Par exemple, "1 = 5:3" signifie que le mouvement 1 prend 5 frames pour passer de l'image précédente et reste sur le mouvement 1 pendant 3 frames avant de passer à l'image suivante.

3.4. Utilisation d'une vidéo source dans Advanced Live Portrait (optionnel)

Advanced Live Portrait vous permet également d'utiliser une vidéo source comme référence pour les expressions et mouvements faciaux.

Voici comment vous pouvez intégrer une vidéo source dans le workflow Advanced Live Portrait :

1. Connectez le nœud Load Video à l'entrée "driving_images" du nœud Advanced Live Portrait.
2. Réglez le paramètre "tracking_src_vid" sur True dans le nœud Advanced Live Portrait pour activer le suivi de la vidéo source.
3. Le nœud Advanced Live Portrait traitera la vidéo source frame par frame et appliquera les mouvements correspondants en fonction de la séquence et de la durée spécifiées dans l'entrée "command".
4. Les expressions et mouvements faciaux de la vidéo source seront utilisés comme point de départ pour chaque frame.
5. Les mouvements définis par les nœuds Expression Editor (PHM) seront appliqués en plus des expressions et mouvements de la vidéo source.
6. Les paramètres "retargeting_eyes" et "retargeting_mouth" dans le nœud Advanced Live Portrait contrôlent l'influence des mouvements des yeux et de la bouche de la vidéo source sur la vidéo de sortie.
7. Les expressions et mouvements faciaux résultants dans la vidéo de sortie seront une combinaison de la vidéo source et des mouvements appliqués.

Si vous préférez générer une vidéo animée sans utiliser de vidéo source, réglez le paramètre "animate_without_vid" sur True dans le nœud Advanced Live Portrait.

Plus d'informations

Pour plus de détails sur le workflow Advanced Live Portrait, veuillez visiter PowerHouseMan/ComfyUI-Advanced Live Portrait