Pika H3 Flex ComfyUI Workflow : deux images de référence en vidéo avec audio stéréo et comparaison A/B Turbo#
Ce flux de travail Pika H3 Flex ComfyUI transforme deux images de référence plus une invite de scène en une courte vidéo avec audio stéréo synchronisé. Il est conçu pour les artistes et les chercheurs qui souhaitent des résultats de référence à vidéo rapides et de haute qualité et une comparaison A/B équitable entre le chemin Pika H3 Flex Turbo Ref2VA et un chemin MiniMax H3 Turbo en utilisant les mêmes sujets, invite, dimensions et graine.
Sous le capot, le flux de travail construit un unique conditionnement et latent à partir de vos références, puis exécute deux branches d'échantillonnage parallèles en huit étapes. Chaque branche décode la vidéo et l'audio et écrit son propre MP4, ce qui facilite le jugement du style, de la fidélité du mouvement et de la plausibilité audio tout en maintenant tout le reste constant.
Modèles clés dans le flux de travail Comfyui Pika H3 Flex ComfyUI#
- Pika-Labs Pika H3 Flex. Modèle vidéo fondamental et actifs qui informent le look et les antécédents de mouvement de la branche Pika. Voir la fiche modèle pour les capacités et les notes d'utilisation recommandées. Pika-Labs/Pika-H3-Flex
- Pika H3 Flex Turbo LoRA. Un adaptateur léger optimisé pour un Ref2VA rapide et de haute qualité sur H3 Flex avec un fort maintien de l'identité et des mouvements nets en peu d'étapes. Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- MiniMax H3 Singularity Ref2VA. L'épine dorsale de diffusion utilisée ici pour le conditionnement de référence à vidéo, associée aux VAEs et à l'encodeur de texte du bundle MiniMax H3. WarmBloodAban/Minimax-h3_Singularity
- MiniMax H3 Video VAE et Audio VAE. Décodeurs pour les images et les formes d'onde stéréo utilisés par les deux branches pour reconstruire les visuels et le son. Comfy-Org/MiniMax-H3
Comment utiliser le flux de travail Comfyui Pika H3 Flex ComfyUI#
Le graphique est organisé en groupes qui transmettent un état cohérent. Les deux branches partagent les mêmes références, invite, dimensions et graine, puis divergent uniquement au stade LoRA pour produire deux sorties comparables.
Modèles#
Ce groupe charge le MiniMax H3 UNet, l'encodeur de texte, et les VAEs vidéo et audio associés, puis les enregistre pour réutilisation. Vous n'avez pas besoin de modifier quoi que ce soit ici sauf si vous échangez des variantes de modèles à partir de leurs fiches modèles. Le backend d'attention est configuré pour favoriser une attention efficace et stable adaptée aux charges de travail vidéo. Tous les objets du modèle sont stockés via des nœuds get/set afin que chaque étape en aval puisse référencer une seule source de vérité.
Entrées utilisateur#
Utilisez les deux chargeurs d'images pour importer vos sujets. Les arrière-plans sont automatiquement supprimés pour mettre en valeur l'identité et la pose, ce qui augmente la cohérence d'apparence lorsque les sujets sont placés dans une nouvelle scène. Entrez votre description de scène dans l'Invite de Texte ; vous pouvez inclure une ligne "Audio:" pour orienter les effets sonores et l'ambiance. Choisissez le rapport d'aspect et les mégapixels ; le Sélecteur de Résolution calcule une largeur et une hauteur multiples de 32, et la durée est convertie en un nombre d'images qui s'aligne avec l'échantillonneur pour un mouvement fluide. Réglez le FPS et la graine pour contrôler la sensation de lecture et la reproductibilité des deux sorties.
Assemblage des invites et des paramètres#
Un court primer de style est préfixé à votre invite via une étape de concaténation de chaîne pour inciter au réalisme et à la cohérence temporelle. Vous pouvez le conserver, le modifier ou le remplacer entièrement pour correspondre au ton de votre projet. L'invite finale est stockée et récupérée de manière cohérente afin que les deux branches reçoivent un texte identique. La largeur, la hauteur, le nombre d'images et la graine sont également centralisés pour garantir une comparaison équitable.
Conditionnement#
MiniMaxH3ReferenceToVideo (#6617) ingère les deux références nettoyées de l'arrière-plan, l'invite emballée et les dimensions partagées pour construire un conditionnement positif plus un latent initialisé pour la vidéo et l'audio. Le nœud fusionne les indices d'identité des deux images avec votre intention de scène, produisant un plan de mouvement de base et une esquisse audio. Cet objet de conditionnement unique est exporté pour les deux échantillonneurs, garantissant que les branches Pika et Turbo ne diffèrent que par leur pile LoRA et leur chemin d'échantillonneur interne.
LoRAs#
Deux piles LoRA sont préparées à partir du même modèle de base. L'une applique le Pika H3 Flex Turbo Ref2VA LoRA pour souligner le look Pika tout en préservant l'identité en très peu d'étapes. L'autre applique un MiniMax H3 Turbo Ref2V LoRA optimisé pour la vitesse et la netteté. Étant donné que la même graine, l'invite et le conditionnement sont utilisés, les différences que vous voyez reflètent le style et la dynamique de chaque LoRA plutôt que des changements dans les entrées.
Échantillonnage normal - Pika H3 Flex#
Cette branche sélectionne le modèle réglé sur Pika enregistré, ensemence un champ de bruit et exécute un échantillonneur en huit étapes avec le conditionnement partagé. Après le débruitage, le latent vidéo et le latent audio sont décodés par les VAEs MiniMax H3. VHS_VideoCombine multiplexe les images et l'audio stéréo en un MP4 et le sauvegarde avec un préfixe de nom de fichier spécifique à Pika. Utilisez cette sortie pour juger de la stabilité de l'identité, de l'intégrité faciale, de la fluidité du mouvement et de la façon dont les effets sonores synthétisés correspondent à votre orientation "Audio:".
Échantillonnage normal - Turbo LoRA#
Cette branche reflète le chemin Pika mais échange le MiniMax H3 Turbo LoRA. Le même échantillonneur en huit étapes, graine, invite et calcul d'images sont appliqués pour maintenir le test équitable. Le décodage utilise les mêmes VAEs, puis VHS_VideoCombine écrit un second MP4 avec un préfixe Turbo. Comparer les deux fichiers côte à côte révèle les compromis en matière de texture, d'agressivité du mouvement et de détail audio entre les routes Pika H3 Flex Turbo et MiniMax H3 Turbo.
Nœuds clés dans le flux de travail Comfyui Pika H3 Flex ComfyUI#
MiniMaxH3ReferenceToVideo (#6617)#
Centralise Ref2VA en combinant vos deux références, invite et dimensions cibles en un seul conditionnement positif et un latent initial. Ajustez uniquement les éléments essentiels ici : l'invite de scène, le choix et l'ordre des images de référence, et la durée/taille qui correspondent à votre prise. Gardez les mêmes paramètres lors de la comparaison des branches pour que les différences reflètent le LoRA, pas le conditionnement. Le nœud est conçu pour piloter à la fois la vidéo et l'audio stéréo qui sont décodés en aval en utilisant les VAEs MiniMax H3 décrits dans leur fiche modèle.
Resolution Selector (Size) (#6345)#
Choisit le rapport d'aspect et les mégapixels, puis renvoie la largeur et la hauteur alignées sur des multiples de 32 pour un décodage efficace. Utilisez-le comme le seul endroit pour dimensionner les deux branches, ce qui minimise les artefacts de rééchantillonnage et maintient la cohérence du détail par image. Augmenter la résolution augmente le coût de calcul et réduit la marge de temps par étape, alors augmentez progressivement lors de l'affinage de l'apparence et du mouvement.
StringConcatenate (#6346)#
Applique un primer de réalisme compact avant votre invite. Si vous préférez un ton ou une stylisation différents, remplacez ou supprimez le primer pour laisser vos propres mots dominer. Garder ce nœud cohérent à travers les exécutions aide à préserver l'intégrité A/B lors des tests de changements de phrasé nuancés.
BasicScheduler (#6742, #6767)#
Fournit un calendrier en huit étapes optimisé pour des résultats rapides et stables dans cette configuration Ref2VA. Moins d'étapes échangent des détails contre la vitesse, tandis que davantage d'étapes ajoutent du raffinement au détriment du temps. Pour des A/B propres à travers les branches, gardez les étapes identiques.
VHS_VideoCombine (#6758, #6776)#
Multiplexe les images décodées et l'audio stéréo en fichiers MP4 finaux. Contrôlez le format et le taux de trame ici, et gardez les deux branches synchronisées. Si vous modifiez la durée en amont, confirmez les paramètres de l'écrivain pour que l'audio et la vidéo restent alignés.
Extras optionnels#
- Préparez les deux images de référence avec une pose, un éclairage et un recadrage similaires pour améliorer la stabilité de l'identité et réduire la dérive du visage.
- Si un arrière-plan chargé s'infiltre dans le sujet, essayez un matage plus fort ou fournissez des découpes plus propres ; vous pouvez également contourner la suppression de l'arrière-plan si vos références sont déjà bien isolées.
- Conservez la même graine lors des comparaisons Pika vs Turbo ; ne changez qu'un seul facteur à la fois.
- Commencez avec un réglage de mégapixels modéré, confirmez la sensation de mouvement et d'audio, puis augmentez la résolution une fois que vous aimez la composition.
- Pour le dialogue ou des effets sonores spécifiques, formulez votre ligne "Audio:" succinctement ; les indices ambiants et les actions simples ont tendance à se synthétiser le plus fiablement.
Ressources pour les modèles utilisés dans ce flux de travail Pika H3 Flex ComfyUI :
- Pika-Labs/Pika-H3-Flex
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Comfy-Org/MiniMax-H3
- kijai/ComfyUI-KJNodes
- kosinkadink/ComfyUI-VideoHelperSuite
Remerciements#
Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Pika-Labs pour Pika-H3-Flex et Pika-H3-Flex-Turbo-LoRA, WarmBloodAban pour Minimax-h3_Singularity, et Innovate Futures @ Benji pour "Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI" pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources#
- Innovate Futures @ Benji/Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Docs / Notes de version: Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Hugging Face: WarmBloodAban/Minimax-h3_Singularity
- Pika-Labs/Pika-H3-Flex
- GitHub: Pika-Labs/Pika-H3-Flex
- Hugging Face: Pika-Labs/Pika-H3-Flex
Note : L'utilisation des modèles, jeux de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.