MiniMax H3 Motion Transfer : animation côte à côte guidée par référence dans ComfyUI#
Ce workflow réalise le MiniMax H3 Motion Transfer en prenant une vidéo source de mouvement et une seule image de référence de personnage, puis génère une vidéo synchronisée côte à côte. La moitié gauche montre le clip de mouvement original, tandis que la moitié droite outpainte un nouveau personnage qui reflète le mouvement. Il est alimenté par MiniMax H3 avec MMH3 UltimateExtend pour l'outpainting spatial guidé par référence, vous permettant de réutiliser rapidement un clip de mouvement pour animer de nombreux personnages stylisés ou réalistes.
Utilisez MiniMax H3 Motion Transfer pour la prévisualisation, le contenu court ou l'exploration rapide de look. La fidélité du mouvement s'améliore lorsque les proportions du personnage et la perspective de la caméra ressemblent à la source, et la force de stylisation peut être orientée avec LoRA et des invites.
Modèles clés dans le workflow Comfyui MiniMax H3 Motion Transfer#
- Modèle de diffusion MiniMax H3. L'épine dorsale générative qui pilote les latents vidéo et prend en charge le conditionnement Ref2VA et FL2VA utilisé pour le transfert de mouvement et l'outpainting. MiniMax‑H3 sur Hugging Face
- MiniMax H3 Video VAE. Encode et décode les latents vidéo pour la synthèse de cadre et l'aperçu. Inclus dans le même dépôt de modèles. Fichiers du modèle
- MiniMax H3 Audio VAE. Transporte l'audio source avec les cadres générés pour que le rendu final préserve le son. Inclus dans le même dépôt. Fichiers du modèle
- Minimax H3 Turbo LoRA (variantes Ref2V et FL2V). Accélère et stabilise le conditionnement Ref2VA et FL2VA, vous permettant d'obtenir des résultats utilisables avec un faible nombre de pas tout en gardant le mouvement aligné. lightx2v/Minimax‑h3‑Turbo
Comment utiliser le workflow Comfyui MiniMax H3 Motion Transfer#
Charger la source de mouvement avec VHS_LoadVideo (#11)#
Ce nœud importe le clip de mouvement et extrait à la fois les cadres et l'audio pour le pipeline. Pointez-le vers votre fichier source et, si nécessaire, coupez ou sous-échantillonnez pour raccourcir les tests. Le nœud produit une séquence d'images et un flux audio qui restent synchronisés à travers le graphe. Conserver l'audio original vous aide à valider le rythme et le timing lors de l'examen du transfert de mouvement.
Préparer une toile côte à côte#
Les cadres entrants sont redimensionnés avec ImageResizeKJv2 (#12) pour que la zone de mouvement corresponde à la toile cible. Une bande vide est créée avec EmptyImage (#25) et positionnée à l'aide de ComfyMathExpression (#26), puis superposée à droite de chaque cadre via ImageCompositeMasked (#23). Cela forme une région propre à droite pour le nouveau personnage tout en laissant intacte la moitié gauche. Le composite est encodé en latents avec VAEEncode (#10). En parallèle, l'audio source est encodé avec VAEEncodeAudio (#21) et fusionné avec le latent vidéo en utilisant LTXVConcatAVLatent (#20).
Définir les tuiles et l'invite de personnage dans MMH3SpatialTileEditor (#31)#
Cet éditeur divise la toile en deux tuiles : la tuile gauche suit le contenu vidéo original, tandis que la tuile droite est générée à partir de votre référence de personnage. Fournissez une image de référence claire et une invite concise qui indique au modèle de correspondre aux poses et au timing du côté gauche tout en préservant l'identité de votre personnage. Ajustez la disposition des tuiles pour que la couture tombe là où il est facile de fondre. Les paramètres de chevauchement et de fondu dans l'éditeur aident à minimiser toute jonction visible entre les tuiles.
Choisir la pile de modèles et le calendrier d'échantillonnage#
UNETLoader (#3) charge le modèle MiniMax H3, et LoraLoaderModelOnly (#2) applique la variante Minimax H3 Turbo LoRA appropriée pour l'exécution. BasicScheduler (#18) et KSamplerSelect (#19) définissent le calendrier des étapes et l'échantillonneur pour des résultats stables. MMH3SampleParams (#17) relie ces éléments, équilibrant l'adhérence au mouvement source par rapport à la liberté pour la stylisation. Utilisez Seed (rgthree) (#22) pour verrouiller la reproductibilité ou explorer des variations.
Générer les cadres de transfert de mouvement avec MMH3SpatialExtendVideo (#8)#
C'est le cœur de MiniMax H3 Motion Transfer. Le nœud lit votre configuration de tuiles, l'image de référence, et le bruit de RandomNoise (#13), puis effectue l'outpainting spatial au fil du temps. La tuile gauche maintient le clip de mouvement original, tandis que la tuile droite synthétise le nouveau personnage exécutant les mêmes mouvements. Les paramètres de chevauchement, de mélange et de passe optionnelle aident à maintenir la cohérence temporelle et à réduire les coutures à mesure que les cadres évoluent.
Décoder, prévisualiser et exporter#
Les latents vidéo sont décodés en images avec VAEDecode (#14) et l'audio est récupéré avec VAEDecodeAudio (#16). Pour un aperçu rapide du côté généré, la première image peut être prévisualisée en sélectionnant et en recadrant avec VHS_SelectImages (#32), ImageCropV2 (#33), et PreviewImage (#34). Enfin, VHS_VideoCombine (#15) assemble les cadres et l'audio en un seul MP4 pour examen et partage.
Nœuds clés dans le workflow Comfyui MiniMax H3 Motion Transfer#
MMH3SpatialTileEditor (#31)#
Définit la disposition à deux tuiles et comment chaque moitié est conditionnée. Réglez la tuile gauche pour suivre la source et la tuile droite pour utiliser votre image de référence et votre invite. Les paramètres de chevauchement et de fondu dans l'éditeur sont les principaux outils pour un mélange transparent là où les tuiles se rencontrent. Utilisez une référence qui correspond à la caméra source et à l'échelle du sujet pour améliorer la fidélité des poses.
MMH3SpatialExtendVideo (#8)#
Exécute l'outpainting spatial guidé par référence au fil du temps. Il consomme la disposition des tuiles, le bruit, le conditionnement texte CLIP, le VAE et les paramètres d'échantillonnage pour générer le personnage de droite tout en préservant la moitié gauche. Si vous remarquez un scintillement ou une couture visible, augmentez modestement le chevauchement ou adoucissez le fondu dans la configuration des tuiles pour stabiliser les transitions.
MMH3SampleParams (#17)#
Relie le modèle, le planificateur et l'échantillonneur pour définir dans quelle mesure la tuile droite suit le mouvement source par rapport au style dans votre invite et référence. Lorsque vous avez besoin d'un appariement de mouvement plus précis, privilégiez un guidage plus fort ; pour un style plus libre, détendez-le légèrement. Gardez cela en équilibre avec votre choix de LoRA pour que l'identité du personnage reste stable.
LoraLoaderModelOnly (#2)#
Charge la Minimax H3 Turbo LoRA. Les variantes Turbo sont ajustées pour un conditionnement Ref2VA et FL2VA efficace, ce qui aide à maintenir l'alignement du mouvement avec un faible nombre de pas. Si votre résultat penche trop vers un look ou s'écarte du timing source, réduisez l'influence de la LoRA ou changez de variante.
VHS_LoadVideo (#11)#
Gère l'ingestion et la synchronisation des cadres et de l'audio. Utilisez-le pour contrôler la longueur du clip et le taux de trame effectif lors de l'expérimentation. Conserver l'audio tout au long du graphe facilite le jugement de l'alignement des battements de mouvement après le transfert.
VHS_VideoCombine (#15)#
Construit la vidéo finale à partir des cadres décodés et de l'audio récupéré. Réglez le taux de trame et la qualité visuelle souhaités pour votre livrable. Lorsque vous ne souhaitez qu'un aperçu silencieux, désactivez l'audio dans ce nœud.
Extras optionnels#
- Préférez une image de référence avec un angle de caméra, des proportions corporelles et un recadrage similaires à ceux du performeur dans la vidéo source ; les références en pleine longueur fonctionnent mieux pour le mouvement en pleine longueur.
- Si le personnage dérive ou traverse la couture, ajustez la limite des tuiles et augmentez le chevauchement des tuiles ou le fondu dans l'éditeur pour des transitions plus douces.
- Gardez les invites courtes et descriptives. Pour un MiniMax H3 Motion Transfer strict, comptez davantage sur la référence et moins sur un texte stylistique lourd.
- La graine contrôle les détails fins du côté généré. Verrouillez la graine pour itérer sur la disposition, puis randomisez pour explorer des alternatives.
- Ce workflow repose sur les nœuds personnalisés MMH3 UltimateExtend et la VideoHelperSuite pour l'I/O vidéo. Référez-vous à leurs dépôts pour le comportement et les mises à jour des nœuds : Comfyui‑MMH3‑UltimateExtend et ComfyUI‑VideoHelperSuite.
Remerciements#
Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement bbaudio-2025 pour les nœuds personnalisés MMH3 UltimateExtend ComfyUI, l'auteur du workflow original pour le JSON du workflow original, Comfy-Org pour les fichiers modèles MiniMax H3 ComfyUI, et lightx2v pour le MiniMax H3 Turbo LoRA pour leurs contributions et leur maintenance. Pour des détails autoritatifs, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources#
- bbaudio-2025/Comfyui-MMH3-UltimateExtend
- Pastebin/Original workflow JSON
- Docs / Release Notes: Original workflow JSON
- Comfy-Org/MiniMax-H3
- Hugging Face: Comfy-Org/MiniMax-H3
- lightx2v/Minimax-h3-Turbo
- Hugging Face: lightx2v/Minimax-h3-Turbo
- GitHub: ModelTC/Minimax-H3-Turbo
Note : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et termes respectifs fournis par leurs auteurs et mainteneurs.
