FastH3 Omni Référence à Vidéo

FastH3 Omni Référence à Vidéo : vidéo guidée par référence avec son synchronisé en 8 étapes#

FastH3 Omni Référence à Vidéo est un workflow ComfyUI pour transformer une seule image de référence et une invite en une courte vidéo avec audio assorti. Il est alimenté par le checkpoint distillé FastH3 OmniRef de FastVideo sur l'architecture MiniMax H3, optimisée pour un échantillonnage rapide en 8 étapes. Le workflow est idéal pour des plans de personnages cinématographiques, des clips de produits brillants et des scènes de voyage où vous voulez l'apparence d'une référence mais le mouvement, le travail de caméra et le son pour suivre votre invite.

Ce graphe ComfyUI connecte les entrées de référence, l'invite textuelle, l'attention sparse et un passage de diffusion vidéo-et-audio conjoint en un pipeline propre. Vous contrôlez le contenu de la scène, les mouvements de caméra et les effets sonores ou les dialogues directement dans l'invite. Le résultat est un clip fidèle à la référence à 24 fps avec un audio qui reflète la scène écrite.

Modèles clés dans le workflow Comfyui FastH3 Omni Référence à Vidéo#

• FastVideo FastH3 OmniRef (Comfy). Le checkpoint de diffusion de base en 8 étapes qui génère à la fois la vidéo et l'audio à partir des entrées de référence plus une invite. Il est distillé pour les tâches de référence-à-vidéo, produisant une forte identité et un son synchronisé avec un minimum d'étapes. Model card
• MiniMax H3 Video VAE (int8 convrot). Le VAE vidéo qui encode et décode les latents spatio-temporels utilisés par le modèle de diffusion, permettant un échantillonnage compact et une reconstruction rapide. Model file
• MiniMax H3 Audio VAE (fp32). Le VAE audio qui gère le chemin latent de la forme d'onde afin que la bande sonore générée s'aligne avec la chronologie visuelle. Model file
• Qwen3‑VL 32B MiniMax H3 NVFP4 AWQ text encoder. Le grand encodeur texte vision-langage utilisé pour analyser l'invite et l'aligner avec les références pour une action cohérente, des directives de caméra et des signaux sonores. Model file
• Template de référence. Le template officiel Comfy‑Org de référence-à-vidéo que ce workflow suit, adapté pour FastH3 Omni Référence à Vidéo. Template JSON

Comment utiliser le workflow Comfyui FastH3 Omni Référence à Vidéo#

À un niveau élevé, le workflow charge des modèles, applique des patches d'attention et de sigma, construit le conditionnement à partir de votre invite et de vos références, exécute une diffusion vidéo-audio conjointe en 8 étapes, décode en images et forme d'onde, puis multiplexe et enregistre une vidéo.

Modèles#

Ce groupe charge le modèle de diffusion FastVideo FastH3 OmniRef, les VAEs vidéo et audio MiniMax H3, et l'encodeur de texte NVFP4 AWQ. Garder ces composants assortis garantit que le calendrier de 8 étapes et le chemin audio conjoint se comportent comme prévu. Vous n'avez pas besoin de modifier quoi que ce soit ici au-delà de la sélection du bon checkpoint. Chargez exactement un modèle de diffusion ; les VAEs et l'encodeur de texte sont des actifs séparés.

Patches de Modèle#

Le modèle est patché avec MiniMaxH3SigmaShift pour aligner le calendrier de bruit pour la vidéo et l'audio, et un backend d'attention est sélectionné. ModelAttentionBackend utilise le noyau rapide int8 pour les régions denses, tandis que BlockSparseAttention est configuré pour VSA afin que les clips longs à haute résolution restent efficaces. Laissez ces choix tels quels pour FastH3 Omni Référence à Vidéo puisque le checkpoint est formé pour VSA et les décalages de sigma montrés.

Conditionnement#

MiniMaxH3ReferenceToVideo construit le conditionnement à partir de votre invite et de vos références. Branchez votre image de référence dans le premier slot et écrivez une invite qui l'appelle par tag, par exemple "<Picture 1> marche vers la caméra, suivi à main levée, vent marin, mouettes lointaines." La largeur et la hauteur viennent du sélecteur de résolution, et un simple contrôle de durée en secondes est converti en grille de trames du modèle pour que la lecture reste alignée. Si la fidélité de l'identité est critique, réglez la ref_image_size du nœud sur max; pour la vitesse, utilisez match.

Échantillonnage#

Le groupe d'échantillonnage combine RandomNoise fixe ou aléatoire, BasicGuider, un planificateur simple, et l'étape SamplerCustomAdvanced. Le calendrier est de 8 étapes pour correspondre à la recette distillée FastH3 OmniRef, qui équilibre la vitesse et la fidélité pour la référence-à-vidéo. Vous pouvez changer la graine pour explorer des variations sans toucher à d'autres paramètres. Les latents vidéo et audio évoluent ensemble pour que les mouvements et les signaux sonores restent synchronisés.

Décodage et création de vidéo#

Après l'échantillonnage, VAEDecode reconstruit les images à partir des latents vidéo et VAEDecodeAudio reconstruit la bande sonore. CreateVideo multiplexe les images et l'audio à 24 fps en sRGB et produit un flux unique. SaveVideo écrit le fichier final sur le disque en utilisant des paramètres par défaut sensés. Le résultat est un clip compact qui reflète à la fois votre référence et votre scène écrite.

Entrées Utilisateur#

• Sélecteur de Résolution (Taille). Choisissez l'aspect et le nombre de pixels pour contrôler le détail et le temps d'exécution ; le format large 16:9 fonctionne bien pour la plupart des plans.
• Flottant (Durée). Définissez la longueur du clip en secondes ; elle est arrondie à la valeur la plus proche sur la grille de trames du modèle 17k+5 pour que le timing soit net. Par exemple, 5 s devient 124 trames à 24 fps.
• Texte d'Entrée (Invite). Décrivez les actions du sujet, le langage de la caméra, et la conception sonore ou le dialogue. Référez-vous à vos références dans l'ordre en utilisant des tags comme "<Picture 1>".
• LoadImage. Ajoutez une référence propre et bien éclairée pour l'apparence ou le cadre. Vous pouvez étendre le nœud pour ajouter plus de slots de référence si nécessaire.

Nœuds clés dans le workflow Comfyui FastH3 Omni Référence à Vidéo#

MiniMaxH3ReferenceToVideo (#136) Ce nœud fusionne l'invite avec une ou plusieurs références et prépare le latent vidéo-audio conjoint. Utilisez-le pour diriger la rétention d'identité, les mouvements de caméra et les événements sonores en un seul endroit. Ajustez la width, height, length, et ref_image_size pour équilibrer la fidélité et la vitesse. Gardez les invites concises mais explicites sur le mouvement et le son pour une meilleure synchronisation.

BlockSparseAttention (#143) Le patch d'attention permet une attention block-sparse VSA pour des clips plus longs et des résolutions plus élevées. Dans ce workflow, il est réglé sur VSA avec un pourcentage de conservation conservateur pour préserver la qualité tout en économisant du calcul. Laissez la sélection sur VSA pour FastH3 Omni Référence à Vidéo ; passer à d'autres modes spars peut dégrader les résultats. Augmenter le ratio de conservation augmente le calcul, tandis que le diminuer peut réduire la fidélité.

MiniMaxH3SigmaShift (#141) Le décalage de sigma aligne le calendrier de bruit de diffusion entre la vidéo et l'audio pour que les deux convergent proprement en 8 étapes. Les décalages vidéo et audio fournis sont adaptés au checkpoint OmniRef et doivent être conservés tels quels pour une sortie cohérente. Si vous passez à un autre checkpoint de la famille MiniMax H3, consultez sa carte de modèle avant de changer ces valeurs.

BasicScheduler (#124) Le planificateur dirige la trajectoire en 8 étapes utilisée par le modèle distillé. Garder les étapes à 8 conserve le compromis vitesse-qualité prévu ; plus d'étapes ajoutent généralement du temps sans gains clairs. Combinez-le avec une graine fixe pour la reproductibilité, ou randomisez la graine pour explorer des alternatives avec la même structure.

Extras facultatifs#

• Écrivez des invites qui associent des verbes d'action et de caméra avec des sons ambiants ou un bref dialogue pour un alignement audio-visuel serré.
• Pour une identité maximale, utilisez une référence haute résolution, face avant et réglez ref_image_size sur max; pour une itération plus rapide, utilisez match.
• Si vous constatez une pression mémoire à de longues durées, réduisez la résolution ou raccourcissez le clip avant de toucher aux paramètres d'attention.
• Utilisez une graine fixe lors du développement d'un look, puis passez à des graines aléatoires pour générer une variété de prises à partir du même setup.
• Pour construire une séquence multi-plans, rendez plusieurs courts clips à partir de la même référence avec différentes invites de caméra et montez-les dans votre éditeur vidéo.

Remerciements#

Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement FastVideo pour le modèle FastH3-Omni-Comfy et la collection de modèles FastH3 Omni, Hao AI Lab pour le blog de sortie FastVideo OmniRef, et Comfy-Org pour le template de workflow référence-à-vidéo, pour leurs contributions et leur maintenance. Pour des détails autorisés, veuillez vous référer à la documentation originale et aux référentiels liés ci-dessous.

Ressources#

• FastVideo/FastH3-Omni-Comfy
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Hao AI Lab/FastVideo OmniRef release blog
  • Docs / Release Notes: FastVideo OmniRef update
• Comfy-Org/reference-to-video workflow template
  • GitHub: Comfy-Org/workflow_templates: templates/video_fasth3_ominiref_r2v.json
• FastVideo/fasth3-omni (collection)
  • Hugging Face: FastVideo/fasth3-omni

Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.