MiniMax H3 Video zu Video mit SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video zu Video mit SolarRenderer#

MiniMax H3 Video zu Video mit SolarRenderer ist ein ComfyUI-Workflow zum Neurendern eines Quellclips mit einem Erscheinungsreferenz und aus dem Video extrahierten Normal Maps. Es bewahrt die Szenenstruktur und Kamerabewegung, während Materialien, Beleuchtung und das Gesamtbild geändert werden. Dies macht es zu einer starken Wahl für architektonische Vorschauen, Verfeinerung von Tieraufnahmen und filmische Szenenumgestaltungen, bei denen konsistente Geometrie und Bewegung wichtig sind.

Der Workflow kombiniert FastH3-Omni für die Referenz-zu-Video-Generierung mit SolarRenderer-Kontroll-LoRAs und SelfLift-Sampling. Normal Maps leiten Geometrie und Bewegung, während die SolarRenderer-LoRAs physikalisch plausibles Shading und Materialien steuern. Das Ergebnis ist eine kohärente, umgestaltete Sequenz, die dem ursprünglichen Timing und der Trajektorie des Shots folgt.

Wichtige Modelle im ComfyUI MiniMax H3 Video zu Video mit SolarRenderer-Workflow#

• FastH3-Omni für ComfyUI. Das Kern-MiniMax H3-Diffusionsmodell, das die Referenz-zu-Video-Generierung durchführt und den Erscheinungstransfer ermöglicht, während es Bewegung und Layout respektiert. Siehe die Modellkarte für Details zur Referenzkonditionierung und zeitlichem Verhalten. FastH3-Omni-Comfy auf Hugging Face
• SolarRenderer LoRAs. Ein Paar von LoRAs, die rendererartige Kontrolle injizieren, um stabile Beleuchtung, Materialien und Schatten über die Frames hinweg zu erreichen, nützlich für architektonischen oder produktähnlichen Realismus. Erkunden Sie das Projekt und die Gewichte hier: SolarRenderer auf GitHub und SolarRenderer auf Hugging Face
• MiniMax H3 VAEs. Separate Video- und Audio-VAEs kümmern sich um die latente Kodierung und Dekodierung, wodurch visuelle Frames und Ton während der Generierung synchron bleiben. Finden Sie die offiziellen MiniMax H3-Assets in der Sammlung: Comfy-Org/MiniMax-H3
• ControlNet Auxiliary Normal Map Estimator. Der auf Metric3D basierende Normalvorprozessor extrahiert pro Frame Oberflächennormalen aus dem Quellclip und bietet zuverlässige Struktur- und Bewegungshinweise. Implementierung innerhalb von ComfyUI wird von den Hilfsprozessoren bereitgestellt: comfyui_controlnet_aux

Wie man den ComfyUI MiniMax H3 Video zu Video mit SolarRenderer-Workflow verwendet#

Dieser Workflow ist in Gruppen organisiert. Sie geben ein Referenzbild und ein Quellvideo an, Normal Maps werden aus dem Video extrahiert, die Konditionierung wird aufgebaut, und SelfLift-Sampling rendert die neue Sequenz, bevor sie mit optionalem Audio in eine MP4 dekodiert wird.

• Referenzeingaben
  • Verwenden Sie LoadImage (#278), um die Erscheinungsreferenz bereitzustellen, die Materialien, Palette und Oberflächenqualitäten definiert. Laden Sie Ihren Quellclip mit VHS_LoadVideo (#273).
  • Der Quellclip wird durch AIO_Preprocessor (#274) geleitet, der auf einen Metric3D-Normal-Extraktor eingestellt ist, um eine Normal-Map-Sequenz zu erzeugen. VHS_VideoCombine (#276) kann diese Normalen so anzeigen, dass Sie bestätigen können, dass die Geometrie sauber erfasst ist.
  • ImageScaleToTotalPixels (#226) skaliert das Referenzbild auf ein Zielpixelbudget, wobei das Seitenverhältnis beibehalten wird, um ein gutes Gleichgewicht zwischen Detail und Geschwindigkeit zu gewährleisten.
  • Wenn Sie Eingaben ändern, prüfen Sie die Normalen erneut, um Bewegungs- oder Beleuchtungsartefakte vor dem Rendern zu erfassen.
• Modelle
  • Der Workflow lädt MiniMax H3-Komponenten: UNet, Text-Encoder und die Video- und Audio-VAEs. Anschließend wird das SolarRenderer-Kontroll-LoRA und das SolarRenderer 4-Schritt-LoRA angewendet, um den Renderstil zu steuern.
  • Diese Modellwahl priorisiert stabile Bewegung und rendererartige Konsistenz. Normalerweise müssen Sie sie nicht berühren, außer LoRAs nach Geschmack auszuwählen oder auszutauschen.
• Konditionierung
  • MiniMaxH3ReferenceToVideo (#11) ist, wo Erscheinung, Struktur und Timing aufeinandertreffen. Es konsumiert das Referenzbild, das Normal-Map-Video, Ihre Eingabeaufforderung und die gewählte Breite, Höhe und Bildlänge, um positive Konditionierung und eine initiale latente Sequenz zu erzeugen.
  • Negative Konditionierung wird über einen genullten Stream gehandhabt, sodass sich das Modell auf Ihre positiven Signale aus der Referenz, den Normalen und der Eingabeaufforderung konzentriert.
  • Wenn Sie spezifische Subjekt- oder Umgebungseinschränkungen benötigen, formulieren Sie diese in der Eingabeaufforderung, während Sie sie über die Aufnahmen hinweg konsistent halten.
• Aufmerksamkeits-Patch
  • Der Workflow enthält sowohl einen speichereffizienten Aufmerksamkeits-Patch als auch ein sparsames Aufmerksamkeits-Backend für längere Clips oder eingeschränkten VRAM. Verwenden Sie jeweils nur einen Pfad, um Konflikte zu vermeiden; halten Sie den anderen deaktiviert.
  • Dieser Abschnitt betrifft ausschließlich Durchsatz und Stabilität, nicht den Bildstil. Wechseln Sie die Ansätze, wenn Sie auf VRAM-Fehler oder Verlangsamungen stoßen.
• Sampling
  • BasicScheduler und KSamplerSelect bieten die Schrittstrategie. Das Haupt-Rendering erfolgt in SelfLiftH3Sampler (#233), das einen niedrigauflösenden latenten Durchgang auf höhere Treue hebt, während die Normal-Map-Struktur und die Referenzerscheinung respektiert werden.
  • Der Sampler kann hochauflösende Inhalte kacheln, einen spezialisierten 3D-latenten Upscaler verwenden und Kontrollstärken mischen, um Geometrie-Treue mit Materialumstyling auszubalancieren.
  • Schließlich rekonstruiert VAEDecode Frames, optional stellt VAEDecodeAudio den Ton wieder her, und VHS_VideoCombine (#243) schreibt die MP4 mit Ihrem gewählten Dateinamen und Bildrate.
• Konfiguration
  • ResolutionSelector (#20) definiert die Ausgabegröße nach Aspekt und Megapixeln und speichert dann Breite und Höhe für das Diagramm. Wählen Sie eine Größe, die zu Ihrem Liefer- und Rechenbudget passt.
  • Die Dauer wird in Sekunden ausgedrückt; der Workflow konvertiert sie in Frames und schnappt auf ein Vielfaches von 17 für Sampler-Stabilität und zeitliche Glätte.
  • Halten Sie die Aspektparität mit Ihrem Quellclip für die treueste Kamerabewegung und Komposition.

Wichtige Knoten im ComfyUI MiniMax H3 Video zu Video mit SolarRenderer-Workflow#

• MiniMaxH3ReferenceToVideo (#11)
  • Baut die positive Konditionierung und die initiale latente Sequenz aus Ihrer Eingabeaufforderung, dem Referenzbild und den Normal Maps des Quellclips auf. Verwenden Sie es, um Breite, Höhe und Bildlänge einzustellen. Wählen Sie eine ref_image_size-Strategie, die mit Ihrer Auflösung übereinstimmt, damit Erscheinungsmerkmale konsistent übertragen werden. Siehe die Basismodellfamilie für Kontext: FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • Führt zeitlich bewusstes Sampling mit einem integrierten hochauflösenden Lift durch. Wichtige Anpassungen umfassen cfg für die Einhaltung der Eingabeaufforderung, transition_step für den Moment, in dem der Sampler von groben zu feinen Details wechselt, w_min und w_max, um strukturelle Führung zu balancieren, lowres_scale für den initialen Durchgang, und highres_tiling, wenn der VRAM begrenzt ist. Der Knoten unterstützt auch einen 3D-latenten Upscaler für schärfere, stabilere Details. Hintergrund zur Methode: comfyui-SelfLift und die Zusammenfassung des Papiers auf arXiv: SelfLift
• AIO_Preprocessor (#274)
  • Führt den Metric3D-Normal-Map-Extraktor über die Quellframes aus, um robuste geometrische Hinweise zu bieten. Wenn Kanten oder Oberflächen in der Vorschau weich aussehen, erhöhen Sie die Prozessorauflösung oder verbessern Sie die Eingabevideoqualität. Implementierungsreferenz: comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281) und 4-Schritt (#121)
  • Diese beiden LoRAs leiten konsistente Beleuchtung, Schattierung und Materialreaktion. Beginnen Sie mit Control und fügen Sie 4-Schritt für zusätzliche rendererartige Stabilität hinzu. Wenn Texturen überbacken aussehen, senken Sie sanft die strength_model. Projekt und Gewichte: SolarRenderer auf GitHub und SolarRenderer auf Hugging Face
• ResolutionSelector (#20)
  • Legt die Ausgabegröße nach Aspekt und Megapixeln fest und leitet dann Breite und Höhe an das Diagramm weiter. Verwenden Sie es, um Ihr Zielbildrahmen und Rechenbudget abzustimmen. Konsistente Vielfache zu halten, verbessert die zeitliche Stabilität in MiniMax H3.
• VHS_VideoCombine (#243)
  • Muxes Frames und optional Audio in die finale MP4. Setzen Sie filename_prefix, frame_rate, und ob die Ausgabe gespeichert werden soll. Der Knoten gehört zur Video Helper Suite, die Vorschau und Export rationalisiert. Referenz: ComfyUI-VideoHelperSuite

Optionale Extras#

• Für die treueste Bewegung halten Sie das Ausgabeaspekt nahe an der Quelle und verwenden Sie die Normal-Map-Vorschau, um die Geometrie vor dem Rendern zu überprüfen.
• Wenn Sie auf VRAM-Druck stoßen, aktivieren Sie das Kacheln in SelfLiftH3Sampler, oder wechseln Sie zwischen speichereffizienter Aufmerksamkeit und sparsamer Aufmerksamkeit. Aktivieren Sie nicht beide Pfade gleichzeitig.
• Wenn das Ergebnis zu glänzend oder künstlich aussieht, reduzieren Sie die SolarRenderer LoRA-Stärke oder fügen Sie Texturhinweise in der Eingabeaufforderung hinzu, während Sie die Szeneneinschränkungen stabil halten.
• Fixieren Sie den Zufallssamen für Wiederholbarkeit beim Vergleich von LoRA-Stärken oder Eingabeaufforderungsvarianten.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir sind Innovate Futures für die Workflow-Quelle, Enderfga für das SolarRenderer-Projekt und -Modelle, FastVideo für das FastH3-Omni ComfyUI-Modell und facok für die SelfLift-Sampling-Knoten für ihre Beiträge und Wartung dankbar. Für autoritative Details verweisen Sie bitte auf die Originaldokumentation und -repositories, die unten verlinkt sind.

Ressourcen#

• Workflow-Quelle von Innovate Futures
  • Docs / Release Notes: Patreon-Beitrag
• SolarRenderer-Projekt
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• SolarRenderer-Modelle
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• FastH3-Omni ComfyUI-Modell
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• SelfLift-Sampling-Knoten
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und des Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Betreuer.