Échange de personnage MiniMax H3 avec SAM3 | MDMZ

Échange de personnage MiniMax H3 avec SAM3#

L'échange de personnage MiniMax H3 avec SAM3 est le workflow ComfyUI de MDMZ pour remplacer le performer à l'écran dans une vidéo par un personnage de référence tout en préservant le mouvement source, le timing, le mouvement de la caméra et éventuellement l'arrière-plan original. Il utilise SAM3 pour isoler le sujet et construit un guide de mouvement inversé afin que MiniMax H3 suive le mouvement et le cadrage sans copier l'identité. Les résultats peuvent conserver des détails du performer source ou modifier des parties de l'arrière-plan, alors vérifiez le clip complet pour la cohérence de l'identité, des mains, des vêtements et de la scène.

Le workflow utilise une voie de prompt gratuite : exécutez le prompt fourni tel quel, ou collez manuellement un prompt structuré généré dans l'application gratuite Gemini pour vos propres entrées. La sauvegarde par défaut utilise le mode Normal, l'arrière-plan de la vidéo source, et une sortie silencieuse. Les modes de passage audio source facultatifs et d'aperçu Turbo sont inclus, et le workflow ajuste la longueur du clip à un nombre de frames compatible avec le modèle.

Les exemples vérifiés utilisent la branche de prompt gratuite, le mode Normal à 20 étapes, et les arrière-plans vidéo. Les options Turbo, arrière-plan image, et audio/synchronisation labiale sont incluses mais n'ont pas été exercées dans ces exemples. "Prompt gratuit" fait référence à la voie de prompt ; l'utilisation du GPU RunComfy est facturée séparément.

Modèles clés dans le workflow ComfyUI MiniMax H3 Character Swap with SAM3#

• Modèle de base MiniMax H3 Reference‑to‑Video (Ref2VA/Ref2V). L'épine dorsale de diffusion qui transforme votre prompt, vos images de référence et votre guide de mouvement en frames vidéo cohérentes tout en suivant la caméra et le timing. Les fichiers et la version du modèle sont hébergés dans le dépôt officiel MiniMax H3. MiniMax H3 sur Hugging Face
• MiniMax H3 Video VAE fp16 et Audio VAE fp32. Le VAE vidéo encode et décode efficacement les frames latentes ; le VAE audio gère les latents audio pour le chemin audio-capable de H3. Sa présence ne garantit pas la qualité de la synchronisation labiale. Inclus dans la version MiniMax H3. MiniMax H3 sur Hugging Face
• Encodeur de texte Qwen3‑VL 32B NVFP4 AWQ. Emballé avec MiniMax H3 pour encoder des prompts longs et structurés et maintenir un alignement texte-à-vidéo fort. Voir les fichiers du modèle MiniMax H3 pour l'encodeur de texte utilisé. MiniMax H3 sur Hugging Face
• SAM 3.1 Multiplex. Fournit une segmentation robuste et prompte pour trouver la personne à remplacer et pour construire un masque cohérent par frame qui guide le mouvement. SAM 3.1 sur Hugging Face
• MiniMax H3 Ref2V Turbo LoRA v0.1. Un LoRA optionnel qui accélère les aperçus avec un petit nombre d'étapes tout en conservant l'aspect général de H3. Mieux utilisé pour l'itération, puis revenez à Normal pour les finales. MiniMax H3 LoRAs

Comment utiliser le workflow ComfyUI MiniMax H3 Character Swap with SAM3#

À un niveau élevé, vous fournissez un court clip source et une image de personnage unique. Le workflow détecte et inverse uniquement le performer pour créer un guide de mouvement, combine le prompt fourni ou collé avec votre cadre d'arrière-plan, puis MiniMax H3 rend l'échange. L'audio source peut passer en option à la sortie ; la qualité de la synchronisation labiale n'a pas été vérifiée dans ces exemples silencieux.

1 · ENTRÉES Chargez votre clip de mouvement dans le chargeur vidéo (#970), qui le convertit en 24 ips, et découpez la section souhaitée. L'exemple enregistré utilise 124 frames (environ 5,17 secondes). Ajoutez l'image du personnage dans le chargeur d'image (#496). Définissez l'aspect de sortie et les mégapixels avec le sélecteur de résolution (#501). Utilisez le prompt fourni ou collez-en un pour vos entrées dans le groupe 3B, choisissez une vitesse de rendu (qualité Normale ou aperçus Turbo), choisissez si l'arrière-plan provient de la vidéo source ou de l'image du personnage, et décidez si l'audio source doit passer pour la synchronisation labiale.

2 · GUIDE DE MOUVEMENT Le détecteur SAM3 (#503) trouve le sujet basé sur une courte étiquette de texte comme personne ou homme:1. Utilisez l'aperçu du masque (#492) pour confirmer que la cible est bien blanche. Le workflow inverse uniquement le performer masqué afin que H3 lise le mouvement et le cadrage à partir des bords et de l'ombrage plutôt que de l'identité. Ajustez le budget de pixels du guide de mouvement avec la Résolution du guide de mouvement (#456) pour échanger la vitesse contre la précision. Un commutateur dédié vous permet de construire un guide de mouvement qui exclut l'arrière-plan vidéo lorsque vous effectuez un transfert de mouvement à partir d'une image.

3B · PROMPT GRATUIT Exécutez le prompt fourni tel quel, ou copiez les instructions Gemini incluses du groupe 3 et demandez à l'application gratuite Gemini d'analyser votre clip et votre image de personnage. Utilisez la même section découpée que vous générerez, puis collez la réponse dans Votre Prompt H3 (#910). Le workflow nettoie automatiquement les en-têtes et les balises de code pour que le texte corresponde à la structure attendue de H3.

3C · ARRIÈRE-PLAN DE LA VIDÉO (remplacement de personnage) Lorsque vous souhaitez un échange de personnage pur à l'intérieur de la scène originale, le workflow augmente votre prompt avec des règles qui demandent à H3 de conserver l'arrière-plan et l'éclairage du clip source. Il indique à H3 de préserver la géométrie du plateau, les objets et le grading, et de rééclairer le nouveau personnage pour correspondre à la prise de vue. Le guide de mouvement inclut le performer inversé au-dessus du cadre original pour que les indices environnementaux restent visibles pour le modèle.

3C · ARRIÈRE-PLAN DE L'IMAGE (transfert de mouvement) Pour le transfert de mouvement sur un arrière-plan de référence fixe, le prompt est réécrit pour conserver l'environnement et l'éclairage de l'image du personnage et ignorer le cadre de la vidéo source. Les lignes de cadrage et d'éclairage vidéo conflictuelles sont supprimées. Le guide de mouvement est recomposé sur une toile neutre pour que seuls le mouvement et le chemin de la caméra soient utilisés, afin de réduire l'influence de l'arrière-plan vidéo source ; ce mode optionnel n'a pas été vérifié dans les exemples fournis.

3D · TEXTE FINAL → H3 Le commutateur d'arrière-plan fusionne l'ensemble de règles correctes et affiche le prompt final envoyé à H3 pour que vous puissiez le vérifier. Cette chaîne exacte est alimentée dans la génération.

4 · GÉNÉRER MiniMax H3 Ref → Video (#464) prend le prompt structuré, l'image de personnage, les frames du guide de mouvement, la largeur et la hauteur du sélecteur de résolution, et une longueur auto-validée. Le mode Normal enregistré utilise 20 étapes d'échantillonnage. Le mode Turbo active le Ref2V Turbo LoRA avec un faible nombre d'étapes pour des aperçus rapides, plus un décalage sigma ajusté pour la vidéo et l'audio ; les commutateurs de guide, d'échantillonneur et d'étapes choisissent le chemin actif. La graine contrôle la variation d'échantillonnage ; la changer peut affecter l'identité, le mouvement, et les détails de l'arrière-plan. L'échantillonneur personnalisé combine bruit, programme, et guideur avec le clip latent.

5 · SORTIE Un nœud de nettoyage VRAM s'exécute avant le décodage pour réduire la pression sur la mémoire ; il ne garantit pas l'absence d'erreurs de mémoire insuffisante. Le VAE vidéo décode les latents en frames, et Enregistrer Vidéo écrit le MP4. La sortie par défaut est silencieuse ; l'audio source est attaché uniquement lorsque la voie audio est activée et que l'entrée a une piste audio.

Nœuds clés dans le workflow ComfyUI MiniMax H3 Character Swap with SAM3#

MiniMax H3 Ref → Video (#464) Le générateur principal qui lie votre prompt, votre image de référence, et votre guide de mouvement. Gardez le prompt structuré et spécifique, et fournissez une image de référence forte pour l'identité. La largeur et la hauteur viennent du sélecteur de résolution pour que le ratio d'aspect corresponde à votre intention. La longueur est déterminée par le compteur de frames automatique pour satisfaire l'écart de H3 ; activez la voie audio uniquement pour les clips avec audio, et vérifiez toute synchronisation vocale séparément.

SAM3 Detect person (#503) Exécute la segmentation SAM 3.1 avec un court indice de texte pour que le bon performer soit isolé. Si une scène a plusieurs personnes, ajoutez un qualificatif rapide comme homme:1 ou femme en rouge:1. Vérifiez d'abord l'aperçu du masque ; si des bords manquent ou si des débordements se produisent, resserrez le prompt ou ajustez les paramètres du détecteur. Un masque propre est la voie la plus rapide pour des échanges stables.

Motion Guide Resolution (#456) Définit le budget total de pixels utilisé par le guide de mouvement. Des valeurs plus basses réduisent le coût de traitement et le détail du guide. Des valeurs plus élevées conservent plus de détails spatiaux dans le guide mais nécessitent plus de traitement ; une amélioration de la qualité de sortie n'est pas garantie. Augmentez progressivement et surveillez la performance et la stabilité.

Turbo LoRA (Ref2V) (#950) Active un chemin d'aperçu rapide qui s'associe à un planificateur d'étapes bas et à un décalage sigma ajusté pour la vidéo et l'audio. Utilisez-le pour itérer rapidement sur les prompts, le cadrage, et le mouvement. Pour les prises de vue finales, revenez aux étapes Normales pour retrouver toute la fidélité de MiniMax H3.

Valid frame count (auto) (#481) Arrondit automatiquement votre clip découpé à un nombre de frames convivial pour le modèle afin que l'échantillonnage reste stable. Les longueurs typiques que les gens utilisent incluent 107, 124, 158, 209, et 362 frames, qui sont environ 4,5 s, 5 s, 6,6 s, 8,7 s, et 15 s à 24 ips. Réglez visuellement votre début et votre fin dans le chargeur et laissez ce nœud gérer le nombre exact.

Extras optionnels#

• Vérifiez d'abord le masque ; le sujet doit être bien blanc dans l'aperçu.
• Gardez le taux de frame à 24 ips pour un mouvement et une synchronisation labiale cohérents.
• La voie de son enregistrée est désactivée. Activez-la uniquement pour les clips avec audio ; vérifiez la synchronisation vocale plutôt que de supposer qu'elle correspondra.
• Utilisez Turbo pour des aperçus rapides, puis passez à Normal pour les rendus finaux.
• Pour le remplacement de personnage, choisissez Arrière-plan de la Vidéo ; pour le transfert de mouvement, choisissez Arrière-plan de l'Image.
• Si l'application gratuite renvoie du texte encerclé par des balises de code ou des en-têtes bizarres, collez-le quand même ; le workflow nettoie automatiquement le format.
• Changez la graine pour explorer un autre résultat, puis revérifiez le mouvement, le cadrage, l'identité, et les détails de l'arrière-plan.

Remerciements#

Ce workflow met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement MDMZ pour le tutoriel et le guide de configuration du workflow de remplacement de personnage H3, Comfy-Org pour les modèles MiniMax-H3 pour ComfyUI, et l'équipe ComfyUI pour le Guide officiel de génération vidéo MiniMax H3 pour leurs contributions et leur maintenance. Pour des détails faisant autorité, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.

Ressources#

• MDMZ/MDMZ tutoriel de workflow
  • Docs / Notes de version : YouTube
• MDMZ/MDMZ workflow et guide
  • Docs / Notes de version : Patreon post
• Comfy-Org/MiniMax H3 modèles pour ComfyUI
  • Hugging Face : Comfy-Org/MiniMax-H3
• ComfyUI/ComfyUI guide MiniMax H3
  • GitHub : comfy-org/docs
  • Docs / Notes de version : ComfyUI Docs

Note : L'utilisation des modèles, ensembles de données, et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.