MiniMax H3 Character Swap V1.5 avec Audio Original

MiniMax H3 Character Swap V1.5 avec Audio Original#

MiniMax H3 Character Swap V1.5 avec Audio Original remplace la personne à l'écran dans une vidéo source par un personnage de référence tout en gardant intacte la bande sonore originale. La toile combine le Character Swap V1.5 LoRA d'Akatz Labs, le masquage de personnes SAM3, et l'historique H3 Relay pour transporter la performance source à travers plusieurs fenêtres de génération pour soutenir la continuité d'identité et de timing.

Ce workflow ComfyUI est conçu pour les éditeurs, les équipes de prévisualisation, et les créateurs qui veulent des échanges de personnages rapides et alignés sur la source sans perdre la performance dans l'audio. Les exemples testés incluent des personnes réalistes, un personnage d'anime, et un robot. Les formes de bouche, les mains, et les jonctions de fenêtres méritent encore un examen, alors prévoyez de vérifier les coutures et l'articulation dans le rendu final. MiniMax H3 Character Swap V1.5 avec Audio Original fonctionne entièrement sur la famille de modèles vidéo H3 avec des contrôles légers que vous pouvez ajuster par prise.

Modèles clés dans le workflow Comfyui MiniMax H3 Character Swap V1.5 avec Audio Original#

• Comfy‑Org MiniMax H3 Ref2VA U‑Net. Structure de diffusion vidéo de base pour la génération conditionnée par l'audio dans H3. Il transforme le bruit en vidéo cohérente tout en respectant les conseils de référence et le masque d'édition. Fichiers du modèle
• MiniMax H3 video VAE. Encode et décode les latents vidéo pour H3 afin que les fenêtres se rendent proprement à la résolution choisie. Carte du modèle
• MiniMax H3 audio VAE. Emballe et décompresse les latents audio utilisés par H3 pour aligner le rythme de la parole et les lèvres avec la piste source. Carte du modèle
• Qwen3‑VL 32B encodeur de texte pour H3. Interprète votre prompt et le conditionnement de référence pour que le personnage de remplacement et les notes de performance soient appliqués de manière cohérente. Inclus dans le bundle de modèles H3. Fichiers
• Akatz Labs Character Swap V1.5 LoRA (h3_character_swap_v1.5.safetensors). Apprend à H3 comment mapper un sujet d'entrée à l'identité du personnage cible tout en préservant la pose et la performance. Répertoire
• MiniMax H3 FL2V Turbo 8‑step LoRA. Un adaptateur de planification rapide qui accélère l'échantillonnage H3 avec 8 étapes pour une génération vidéo rapide basée sur les fenêtres. Répertoire
• SAM 3.1 multiplex checkpoint. Détecte et suit la personne à remplacer, produisant des masques robustes pour les sujets en mouvement. Répertoire
• H3 Relay toolkit. Fournit la planification des fenêtres basée sur l'historique, la récupération/expansion des masques, la boucle, et l'assemblage des fenêtres pour la continuité sur tout le clip. GitHub
• Source du workflow de référence. La méthode d'échange de personnages et LoRA proviennent d'Akatz Labs et sont adaptées ici pour H3 Relay. GitHub

Comment utiliser le workflow Comfyui MiniMax H3 Character Swap V1.5 avec Audio Original#

La toile suit un chemin simple des entrées à une vidéo assemblée : vous fournissez un clip source et une référence de personnage, SAM trouve et suit la personne à remplacer, H3 Relay planifie les fenêtres avec report d'historique, H3 génère les cadres édités à l'intérieur du masque, puis le workflow assemble tout avec l'audio original. Les groupes dans la toile sont organisés pour que vous puissiez travailler de haut en bas et réviser aux points de contrôle naturels.

01 · Entrées utilisateur#

Téléchargez votre clip dans Source video, puis ajoutez une image ou une feuille de personnage unique dans Character reference · Picture 1. H3RelayPrepareSource aligne les cadres sur la grille du modèle et expose la largeur, la hauteur, le nombre de cadres et l'audio réels. Le nœud émet un lot propre de cadres et la bande sonore originale qui devient plus tard le guide. Gardez le premier passage simple en commençant par une seule prise continue.

02 · Modèles H3 et LoRA#

H3 Ref2VA · INT8 charge la structure de diffusion MiniMax H3. L'encodeur de texte, le VAE vidéo, et le VAE audio se connectent automatiquement. Deux LoRAs se placent sur H3: FL2V Turbo · 8-step pour un échantillonnage rapide et Character Swap V1.5 · strength pour le transfert d'identité. Cette association permet à MiniMax H3 Character Swap V1.5 avec Audio Original de fonctionner rapidement tout en préservant le style du personnage.

03 · Sélection de personnes SAM et masques#

SAM3_Detect trouve les personnes dans le premier cadre basé sur la SAM person description. H3RelaySelectMask choisit le sujet, puis SAM3_VideoTrack suit ce masque sur tout le lot de cadres. H3RelayRecoverMasks corrige les lacunes et H3RelayExpandMask agrandit la région pour couvrir les cheveux et les mains afin que les modifications d'identité ne laissent pas d'auréoles. Un aperçu vous aide à confirmer que le masque de personne étendu correspond au sujet prévu.

04 · Planification des fenêtres H3 Relay#

H3RelayWindowPlan crée des fenêtres conscientes des chevauchements dimensionnées pour H3 avec une petite tranche d'historique reportée pour la continuité. StartLoop et H3RelayWindowInputs alimentent les cadres, les masques, et l'audio par fenêtre dans la génération. C'est ici que la source est divisée en morceaux gérables pour transporter le contexte entre les fenêtres successives d'une prise continue. Les coupures de scène nécessitent une révision séparée. MiniMax H3 Character Swap V1.5 avec Audio Original utilise ce plan pour garder les graines et les plages déterministes pour un passage reproductible.

05 · Conditionnement de référence et guides#

MiniMaxH3ReferenceToVideo transforme votre image de personnage et votre prompt de performance en conditionnement pour H3. H3RelayApplyHistory injecte les cadres et l'audio de la fenêtre précédente comme guide doux pour la suivante. H3RelayApplyEditMask mélange la région d'édition suivie avec le latent actuel pour contraindre l'édition ; il ne garantit pas la préservation pixel-identique de l'arrière-plan. MiniMaxH3AddGuide vous permet d'ajouter des conseils cibles natifs à partir de l'audio de la fenêtre pour que les lèvres et les expressions suivent la bande sonore originale.

06 · Échantillonnage et décodage#

H3RelaySamplingMemory, CFGGuider, KSamplerSelect, et SamplerCustomAdvanced exécutent la boucle de génération fenêtre par fenêtre en utilisant le modèle H3 adapté par LoRA. LTXVSeparateAVLatent et VAEDecode décodent les visuels vers des cadres prêts pour l'assemblage. Ces pièces gèrent le travail lourd et gardent la mémoire prévisible. La plupart des utilisateurs peuvent les laisser tels quels pour un premier passage.

07 · Assemblage et sortie H3 Relay#

H3RelayAppendWindow accumule les fenêtres dans l'ordre, en coupant le chevauchement si nécessaire. H3RelayFinishWindows produit les cadres et rattache l'audio original afin que le timing et la parole restent fidèles à la source. CreateVideo et Save final video écrivent le résultat sur le disque. Vérifiez les jonctions de fenêtres, les formes de bouche, les mains, et les occultations, puis itérez si nécessaire. MiniMax H3 Character Swap V1.5 avec Audio Original est optimisé pour des cycles de révision rapides sur des prises courtes.

Nœuds clés dans le workflow Comfyui MiniMax H3 Character Swap V1.5 avec Audio Original#

• H3RelayWindowPlan Crée le calendrier de génération et l'historique de chevauchement. Les exemples testés utilisent des fenêtres de 124 cadres et un historique de 18 cadres à 24 fps. Chaque clip de 12,25 secondes s'étend sur trois fenêtres. Inspectez les deux jonctions pour des changements d'apparence ou de mouvement locaux ; ce n'est pas une garantie de continuation sans couture.
• MiniMaxH3ReferenceToVideo Construit le conditionnement principal à partir de votre image de personnage et du prompt à la largeur, hauteur, et longueur par fenêtre réelles. Utilisez une image ou une feuille d'identité vraie et dites clairement que plusieurs vues représentent le même personnage. Gardez les instructions de performance concises et liées à l'audio source et aux gestes. Si l'identité dérive, renforcez la description de l'identité et simplifiez les modificateurs de style.
• H3RelayApplyEditMask Utilise le masque suivi et les cadres sources encodés pour contraindre la génération. Vérifiez la couverture du masque autour des cheveux et des membres en mouvement. Le graphique testé ne composite pas le corps généré sur les pixels sources intacts, donc les détails environnants peuvent encore changer.
• MiniMaxH3AddGuide Utilise l'audio source de la fenêtre actuelle comme guide natif. Cela soutient le mouvement lié à la parole, mais la préservation de la bande sonore ne garantit pas une synchronisation labiale exacte. Le nœud exposé dans ce graphique n'a pas de contrôle ajustable de la force du guide.
• LoraLoaderModelOnly · Character Swap V1.5 Charge l'adaptateur officiel h3_character_swap_v1.5.safetensors à la force testée de 1.0. Les changements de force peuvent altérer le résultat, mais il n'y a pas de règle vérifiée selon laquelle la réduction améliore le mouvement de la bouche ou l'augmentation verrouille les détails du costume.
• SamplerCustomAdvanced plus CFGGuider Exécute la recette Turbo testée : 8 étapes, CFG 1, er_sde, et planification normale. Commencez avec ces valeurs par défaut ; les changements d'étapes ou de guidance nécessitent une nouvelle comparaison et ne sont pas garantis d'améliorer la qualité.
• SAM3_Detect et SAM3_VideoTrack Conduisent la détection et le suivi des personnes pour la région d'édition. Utilisez une SAM person description claire pour biaiser vers votre sujet lorsque plusieurs personnes sont visibles. Si le suivi glisse aux occultations, ajustez la sensibilité de la détection ou re-sélectionnez le sujet avant de suivre à nouveau. L'objectif est un masque stable unique qui suit le performeur prévu.
• H3RelayFinishWindows Assemble les cadres finaux et garde le mode audio sur source afin que la bande sonore originale passe. Gardez source sélectionné lorsque la rétention de l'audio original est requise. Ce nœud est la dernière porte de qualité avant le codage.

Extras optionnels#

• Choisissez des prises avec un éclairage stable et des mouvements rapides de caméra minimaux pour vos premiers passages.
• Utilisez une image de référence unique et vraie d'identité avec une expression neutre et une ligne de cheveux visible.
• Gardez la largeur et la hauteur divisibles par 32 et correspondez au rapport d'aspect source pour une utilisation efficace de la mémoire.
• Pour une couture sautillante, testez un autre plan de fenêtre valide et relancez la séquence de fenêtres dépendante, car les fenêtres ultérieures utilisent l'historique antérieur.
• Toujours vérifier les lèvres, les mains, les bords des cheveux, et les jonctions de fenêtres à 100% avant la livraison.

MiniMax H3 Character Swap V1.5 avec Audio Original combine le timing aligné sur la source, la génération de personnages guidée par référence, et les contrôles d'historique de fenêtre pour que vous puissiez itérer rapidement du test au final. Pour un contexte plus approfondi sur la méthode et les actifs, voir les références d'Akatz Labs ci-dessus.

Remerciements#

Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions Akatz Labs pour le workflow H3 Character Swap Tool, Akatz AI pour le MiniMax H3 Character Swap LoRA (v1.5) et H3 Relay, et Comfy-Org pour les modèles de base MiniMax H3 pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux répertoires liés ci-dessous.

Ressources#

• Source du workflow Akatz Labs
  • GitHub: akatz-labs/h3-character-swap-tool
• Character Swap V1.5 LoRA
  • Hugging Face: akatz-ai/MiniMax-H3-Character-Swap-LoRA
• H3 Relay
  • GitHub: akatz-ai/h3-relay
• Modèles de base MiniMax H3
  • Hugging Face: Comfy-Org/MiniMax-H3

Note: L'utilisation des modèles, ensembles de données, et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.