MiniMax H3 Video to Video avec SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video to Video avec SolarRenderer#

MiniMax H3 Video to Video avec SolarRenderer est un flux de travail ComfyUI pour re-rendre un clip source en utilisant une référence d'apparence et des cartes normales extraites de la vidéo. Il préserve la structure de la scène et le mouvement de la caméra tout en changeant les matériaux, l'éclairage et l'apparence générale. Cela en fait un choix fort pour des aperçus architecturaux, le raffinement de séquences animalières et le restylage de scènes cinématographiques où la géométrie et le mouvement cohérents sont importants.

Le flux de travail combine FastH3-Omni pour la génération de référence à vidéo avec les LoRAs de contrôle SolarRenderer et l'échantillonnage SelfLift. Les cartes normales guident la géométrie et le mouvement, tandis que les LoRAs SolarRenderer dirigent l'ombrage physiquement plausible et les matériaux. Le résultat est une séquence cohérente et restylée qui suit le timing et la trajectoire de la prise originale.

Modèles clés dans le flux de travail Comfyui MiniMax H3 Video to Video avec SolarRenderer#

• FastH3-Omni pour ComfyUI. Le modèle de diffusion MiniMax H3 de base qui effectue la génération de référence à vidéo, permettant le transfert d'apparence tout en respectant le mouvement et la disposition. Voir la carte du modèle pour les détails sur le conditionnement de référence et le comportement temporel. FastH3-Omni-Comfy sur Hugging Face
• LoRAs SolarRenderer. Une paire de LoRAs qui injectent un contrôle de style renderer pour obtenir un éclairage, des matériaux et des ombres stables à travers les cadres, utile pour le réalisme architectural ou de type produit. Explorez le projet et les poids ici : SolarRenderer sur GitHub et SolarRenderer sur Hugging Face
• VAEs MiniMax H3. Des VAEs vidéo et audio séparés gèrent le codage et le décodage latents, gardant les cadres visuels et le son synchronisés pendant la génération. Trouvez les ressources officielles MiniMax H3 dans la collection : Comfy-Org/MiniMax-H3
• Estimateur de Carte Normale Auxiliaire ControlNet. Le préprocesseur normal basé sur Metric3D extrait des normales de surface par cadre du clip source, fournissant une structure et un mouvement fiables. L'implémentation dans ComfyUI est fournie par les processeurs auxiliaires : comfyui_controlnet_aux

Comment utiliser le flux de travail Comfyui MiniMax H3 Video to Video avec SolarRenderer#

Ce flux de travail est organisé en groupes. Vous fournissez une image de référence et une vidéo source, les normales sont extraites de la vidéo, le conditionnement est construit, et l'échantillonnage SelfLift rend la nouvelle séquence avant de la décoder en MP4 avec audio facultatif.

• Entrées de Référence
  • Utilisez LoadImage (#278) pour fournir la référence d'apparence qui définit les matériaux, la palette et les qualités de surface. Chargez votre clip source avec VHS_LoadVideo (#273).
  • Le clip source est passé par AIO_Preprocessor (#274) réglé sur un extracteur normal Metric3D pour produire une séquence de cartes normales. VHS_VideoCombine (#276) peut prévisualiser ces normales afin que vous puissiez confirmer que la géométrie est capturée proprement.
  • ImageScaleToTotalPixels (#226) redimensionne l'image de référence à un budget de pixels cible tout en gardant le rapport d'aspect, assurant un bon équilibre entre détail et vitesse.
  • Si vous changez les entrées, prévisualisez à nouveau les normales pour détecter les artefacts de mouvement ou d'éclairage avant de rendre.
• Modèles
  • Le flux de travail charge les composants MiniMax H3 : UNet, encodeur de texte, et les VAEs vidéo et audio. Il applique ensuite le contrôle LoRA SolarRenderer et le LoRA en 4 étapes SolarRenderer pour diriger le style de rendu.
  • Ces choix de modèles priorisent un mouvement stable et une cohérence de type renderer. Vous n'avez généralement pas besoin de les toucher au-delà de la sélection ou de l'échange des LoRAs selon vos goûts.
• Conditionnement
  • MiniMaxH3ReferenceToVideo (#11) est là où l'apparence, la structure et le timing se rencontrent. Il consomme l'image de référence, la vidéo de carte normale, votre prompt, et la largeur, hauteur, et longueur de cadre choisies pour produire un conditionnement positif et une séquence latente initiale.
  • Le conditionnement négatif est géré via un flux mis à zéro pour que le modèle se concentre sur vos signaux positifs de la référence, des normales, et du prompt.
  • Si vous avez besoin de contraintes spécifiques sur le sujet ou l'environnement, formulez-les dans le prompt tout en le gardant cohérent entre les prises.
• Attention Patch
  • Le flux de travail inclut à la fois un patch d'attention efficace en mémoire et un backend d'attention éparse pour les clips plus longs ou la VRAM limitée. Utilisez un seul chemin à la fois pour éviter les conflits ; gardez l'autre désactivé.
  • Cette section concerne uniquement le débit et la stabilité, pas le style d'image. Changez d'approche si vous rencontrez des erreurs VRAM ou des ralentissements.
• Échantillonnage
  • BasicScheduler et KSamplerSelect fournissent la stratégie de pas. Le rendu principal se fait dans SelfLiftH3Sampler (#233), qui élève un passage latent basse résolution à une fidélité plus élevée tout en respectant la structure de la carte normale et l'apparence de référence.
  • L'échantillonneur peut carreler du contenu haute résolution, utiliser un suréchantillonneur latent 3D spécialisé, et mélanger les forces de contrôle pour équilibrer la fidélité de la géométrie avec le restylage des matériaux.
  • Enfin, VAEDecode reconstruit les cadres, VAEDecodeAudio facultatif restaure l'audio, et VHS_VideoCombine (#243) écrit le MP4 avec le nom de fichier et le taux d'images choisis.
• config
  • ResolutionSelector (#20) définit la taille de sortie par aspect et mégapixels, puis stocke la largeur et la hauteur pour le graphe. Choisissez une taille qui correspond à votre livraison et à votre budget de calcul.
  • La durée est exprimée en secondes ; le flux de travail la convertit en cadres et s'aligne sur un multiple de 17 pour une stabilité de l'échantillonneur et une fluidité temporelle.
  • Gardez la parité d'aspect avec votre clip source pour un mouvement de caméra et une composition les plus fidèles possible.

Nœuds clés dans le flux de travail Comfyui MiniMax H3 Video to Video avec SolarRenderer#

• MiniMaxH3ReferenceToVideo (#11)
  • Construit le conditionnement positif et la séquence latente initiale à partir de votre prompt, image de référence, et les cartes normales du clip source. Utilisez-le pour définir la largeur, la hauteur, et la longueur des cadres. Choisissez une stratégie ref_image_size qui s'aligne avec votre résolution pour que les caractéristiques d'apparence se transfèrent de manière cohérente. Voir la famille de modèles de base pour le contexte : FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • Effectue un échantillonnage conscient du temps avec une élévation haute résolution intégrée. Les ajustements clés incluent cfg pour l'adhérence au prompt, transition_step pour le moment où l'échantillonneur passe du détail grossier au détail fin, w_min et w_max pour équilibrer les indications structurelles, lowres_scale pour le passage initial, et highres_tiling si la VRAM est limitée. Le nœud prend également en charge un suréchantillonneur latent 3D pour des détails plus nets et plus stables. Contexte sur la méthode : comfyui-SelfLift et le résumé de l'article sur arXiv : SelfLift
• AIO_Preprocessor (#274)
  • Exécute l'extracteur de carte normale Metric3D sur les cadres sources pour fournir des indices géométriques robustes. Si les bords ou les surfaces semblent doux dans l'aperçu, augmentez la résolution du préprocesseur ou améliorez la qualité de la vidéo d'entrée. Référence d'implémentation : comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281) et 4-step (#121)
  • Ces deux LoRAs guident un éclairage, un ombrage et une réponse matérielle cohérents. Commencez par Control et ajoutez 4-step pour une stabilité de style renderer supplémentaire. Si les textures semblent trop cuites, réduisez doucement la strength_model. Projet et poids : SolarRenderer sur GitHub et SolarRenderer sur Hugging Face
• ResolutionSelector (#20)
  • Définit la taille de sortie par aspect et mégapixels, puis dirige la largeur et la hauteur vers le graphe. Utilisez-le pour correspondre à votre cadrage de prise cible et à votre budget de calcul. Garder les multiples cohérents améliore la stabilité temporelle dans MiniMax H3.
• VHS_VideoCombine (#243)
  • Mux des cadres et de l'audio facultatif dans le MP4 final. Définissez filename_prefix, frame_rate, et si vous souhaitez enregistrer la sortie. Le nœud appartient à Video Helper Suite, qui simplifie l'aperçu et l'exportation. Référence : ComfyUI-VideoHelperSuite

Extras optionnels#

• Pour le mouvement le plus fidèle, gardez l'aspect de sortie proche de la source et utilisez l'aperçu de la carte normale pour vérifier la géométrie avant de rendre.
• Si vous rencontrez une pression VRAM, activez le carrelage dans SelfLiftH3Sampler, ou alternez entre l'attention efficace en mémoire et l'attention éparse. N'activez pas les deux chemins en même temps.
• Lorsque le résultat semble trop brillant ou artificiel, réduisez la force de SolarRenderer LoRA ou ajoutez des indices de texture dans le prompt tout en gardant les contraintes de scène stables.
• Fixez la graine aléatoire pour la répétabilité lors de la comparaison des forces de LoRA ou des variantes de prompt.

Remerciements#

Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Innovate Futures pour la source du flux de travail, Enderfga pour le projet et les modèles SolarRenderer, FastVideo pour le modèle ComfyUI FastH3-Omni, et facok pour les nœuds d'échantillonnage SelfLift pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux référentiels liés ci-dessous.

Ressources#

• Source du flux de travail par Innovate Futures
  • Docs / Notes de version : Publication Patreon
• Projet SolarRenderer
  • GitHub : Enderfga/SolarRenderer
  • Hugging Face : Enderfga/SolarRenderer
  • arXiv : arXiv:2610.28630
• Modèles SolarRenderer
  • Hugging Face : Enderfga/SolarRenderer
  • GitHub : Enderfga/SolarRenderer
  • arXiv : arXiv:2610.28630
• Modèle ComfyUI FastH3-Omni
  • Hugging Face : FastVideo/FastH3-Omni-Comfy
• Nœuds d'échantillonnage SelfLift
  • GitHub : facok/comfyui-SelfLift
  • arXiv : arXiv:2609.02036

Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et termes respectifs fournis par leurs auteurs et mainteneurs.