MiniMax H3 Taomate 3-Schritt-Beschleunigung: Referenzbild zu filmischem Video mit synchronisiertem Audio#
Dieser ComfyUI-Workflow verwandelt ein oder zwei Standbilder und ein filmisches Prompt in ein kohärentes Video mit synchronisiertem Ton. Basierend auf MiniMax H3 und der TaoMate H3 Drei-Schritt-Beschleunigung LoRA erreicht er schnelles Sampling bei gleichzeitiger Wahrung von Motividentität, Szenenkontinuität, Kamerabewegungen und Audiocues. Die MiniMax H3 Taomate 3-Schritt-Beschleunigungspipeline ist ideal für Charakterporträts, Science-Fiction-Szenen, historische Rekonstruktionen und polierte Kurzformkonzepte, bei denen Sie starke Ähnlichkeitskontrolle und natürliche Bewegungen wünschen.
Durch die Kombination eines Referenzbildes mit einem shot‑strukturierten Prompt liefert der MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Workflow einen konsistenten Darsteller auf dem Bildschirm, gleichmäßige Beleuchtung und Kulisse sowie einen Ambiente-Track, der Ihrer textlichen Richtung folgt. Er wird mit speichereffizienten Aufmerksamkeitspatches und chunked Inference geliefert, sodass Sie größere Frames bei niedrigem VRAM ausführen können, während Audio und Video ausgerichtet bleiben.
Wichtige Modelle im Comfyui MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Workflow#
- MiniMax H3 Referenz-zu-Video-Grundmodell. Treibt die gemeinsame Video- und Audiogenerierung aus Text- und visuellen Referenzen an. Siehe die offizielle Modellkarte für Fähigkeiten und Formate unter MiniMaxAI/MiniMax-H3.
- TaoMate-H3 Drei-Schritt-Beschleunigung LoRA. Reformiert den Denoising-Zeitplan, sodass hohe Qualität in sehr wenigen Schritten erreicht werden kann, was den 3‑Schritt-Stil-Zeitplan ermöglicht, den dieser Workflow verwendet. Projekt und Gewichte: TaoMate-H3 auf GitHub und TaoLiveAIGC/TaoMate-H3.
- Qwen3‑VL 32B Text-Encoder-Variante für MiniMax H3. Kodiert lange, shot‑bewusste Prompts mit Kamera- und Tondirektiven für stärkere Konditionierung. Vertrieben mit dem Comfy‑ready H3 Bundle: Comfy-Org/MiniMax-H3.
- MiniMax H3 Video VAE und Audio VAE. Dekodieren den gemeinsamen latenten Stream in Bildframes und synchronisiertes Audio, um lippsichere Timing und Ambience-Kontinuität zu gewährleisten. Enthalten in Comfy-Org/MiniMax-H3.
So verwenden Sie den Comfyui MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Workflow#
Der Workflow verläuft von Eingaben zu einem einzigen Sampler-Pfad, der ein einheitliches Latent für sowohl Video als auch Audio ausgibt, dann dekodiert und zu einer endgültigen Datei gemuxt wird. Gruppen sind so organisiert, dass Sie zuerst Referenzen und Text setzen können, dann übernimmt der MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Verarbeitungsstapel.
Bild-/Videoeingaben (2)#
Laden Sie ein oder zwei Motivframes in LoadImage (#94) und LoadImage (#9). Verwenden Sie saubere, frontale Bilder mit stabiler Beleuchtung und ohne starke Verdeckungen, damit die Identität gesperrt bleibt. Ein starkes Referenzbild reicht aus; ein zweiter Winkel kann helfen, Kleidung, Proportion und Umgebung beizubehalten. Die Referenzen speisen MiniMaxH3ReferenceToVideo, um Identität, Bewegungsbereich und Layout zu initialisieren, bevor das Denoising beginnt.
Texteingaben (1)#
Geben Sie Ihr filmisches Prompt in Prompt (#93) ein. Der Encoder bevorzugt strukturierte Prosa mit Abschnitten wie Shot-Breakdowns, Kamerabewegungen, Bewegungsverben und zwei optionalen Blöcken für Sound: eine Ambiente-Linie und eine nicht-diegetische Musiklinie. Sie können den bereitgestellten Vorlagenstil beibehalten und seinen Inhalt mit Ihren Szenen- und Timing-Markern ersetzen. Diese Anweisungen konditionieren sowohl Bild als auch Ton, sodass der MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Stapel Audioereignisse mit On-Screen-Aktionen ausrichten kann.
Verarbeitung (22)#
Diese Gruppe lädt MiniMax H3, wendet die TaoMate Drei-Schritt-Beschleunigung LoRA an und installiert speichereffiziente Aufmerksamkeit für niedrige VRAM-Läufe. MiniMaxH3ReferenceToVideo (#11) fusioniert Ihre Referenzbilder und das Prompt in einen latenten Plan; Resolution Selector (Size) (#20) legt Breite und Höhe fest; Float (Duration) (#17) steuert die Laufzeit. Ein kleiner Ausdrucksknoten konvertiert die Dauer in eine H3-freundliche Frameanzahl, die mit dem internen Stride übereinstimmt, sodass die Bewegung glatt bleibt. Der Sampler, der Guider, der Scheduler und der Sigma-Shift führen dann einen kurzen, aggressiven Zeitplan aus, der für MiniMax H3 Taomate 3-Schritt-Beschleunigung entwickelt wurde, ohne Identität oder Szenenstabilität zu opfern.
Ausgaben (2)#
Das denoisierte Latent des Samplers wird zweimal dekodiert: VAEDecode (#25) liefert Frames und VAEDecodeAudio (#14) liefert Ton. CreateVideo (#34) muxt Frames und Audio mit Ihrer gewählten fps zu einem einzigen, bereit zum Teilen Clip, und SaveVideo (#5) speichert ihn mit Ihrem Dateinamenpräfix. Die Ausgabe spiegelt Ihren Shot-Level-Text wider und bewahrt die Gesichtslikeness aus den Referenzbildern. Da Video und Audio ein Latent teilen, bleibt die Synchronisation durchgehend erhalten.
Wichtige Knoten im Comfyui MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Workflow#
MiniMaxH3ReferenceToVideo (#11)#
Dieser Knoten ist der Einstiegspunkt für Text-Bild-Konditionierung in die H3-Pipeline. Verwenden Sie ihn, um Ihr Prompt, ein oder zwei Referenzbilder und die effektive width, height und length bereitzustellen. Für präzises Timing, passen Sie die Dauer im Vorfeld an und lassen Sie die berechnete length automatisch ausrichten; ändern Sie die Auflösung durch den Selektor anstatt rohe Größen hier einzugeben. Wenn Sie Referenzen austauschen oder hinzufügen, behalten Sie die Rahmung über Bilder hinweg konsistent, um Identitätsdrift zu vermeiden.
LoraLoaderModelOnly (#92) — TaoMate H3 drei-Schritt-Beschleunigung#
Wendet die TaoMate H3 LoRA an, die den MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Zeitplan ermöglicht. Erhöhen Sie seinen Einfluss nur, wenn Sie mehr Geschwindigkeit oder stärkere Führung bei sehr niedrigen Schritten benötigen; verringern Sie ihn leicht, wenn Sie Über-Schärfung oder reduzierte subtile Bewegung beobachten. Kombinieren Sie dies mit einem prägnanten, konkreten Prompt, damit der kurze Zeitplan klare Ziele hat, auf die er sich konzentrieren kann.
MiniMaxH3SigmaShift (#38)#
Verschiebt den Rauschzeitplan, um Klarheit und zeitliche Kohärenz im Video zu balancieren, während das Audio stabil bleibt. Wenn Ihre Frames zu weich aussehen, schieben Sie die Videoschicht nach oben; wenn die Ambience zu dominant oder spröde wird, reduzieren Sie die Audioschicht. Machen Sie kleine, koordinierte Änderungen und sehen Sie sich ein paar Sekunden an, bevor Sie sich für ein vollständiges Rendern entscheiden.
SamplerCustomAdvanced (#21)#
Führt den kurzen Denoising-Pfad mit Ihrem gewählten Sampler und der Sigma-Kurve des Schedulers aus. Halten Sie den Sampler konsistent, wenn Sie Prompts vergleichen, damit Sie Änderungen auf Text und Referenzen zurückführen können, nicht auf Sampling. Für Abwechslung ändern Sie den RandomNoise-Seed im Vorfeld; dies verändert Mikro-Bewegungen und Kamera-Gefühl, ohne die Identität zu beeinträchtigen.
ComfyMathExpression (#19) — Auto-Frame-Anzahl#
Konvertiert die Dauer in eine Frame-Anzahl, die mit H3s internem Stride übereinstimmt und Cadenzstottern verhindert. Bearbeiten Sie nur den Dauer-Eingabeknoten; der Ausdruck wird automatisch auf die nächste kompatible Anzahl runden. Dies bewahrt glatte Bewegungen und hält das Audiobett im Einklang mit visuellen Beats.
Resolution Selector (Size) (#20)#
Wählt das Seitenverhältnis und das Pixelbudget aus, während beide Dimensionen Vielfache der modellfreundlichen Kachelgröße bleiben. Wählen Sie ein Seitenverhältnis, das zu Ihrem Lieferbaren passt, dann erhöhen oder senken Sie die Megapixel, um Detail gegen Geschwindigkeit und VRAM auszutauschen. Verwenden Sie dies anstelle von willkürlichen Größen, um Fehlausrichtungen im VAE und den Aufmerksamkeit-Fenstern zu vermeiden.
CreateVideo (#34) und SaveVideo (#5)#
Muxt Frames und Audio zu einer einzigen Datei und speichert sie mit Ihrem bevorzugten Präfix und Format. Passen Sie die fps hier an, um die wahrgenommene Bewegungsgeschwindigkeit und den Ton-Timing zu ändern, ohne das Modell neu zu sampeln. Verwenden Sie eine konsistente Bit-Tiefe und Farbraum, wenn Sie eine Serie erstellen, damit Clips einheitlich abgestuft werden.
Optionale Extras#
- Prompt Craft für beste Ergebnisse
- Beginnen Sie mit einer ein-Satz-Szenenzusammenfassung, dann listen Sie 1–3 Shot-Blöcke mit klaren Verben und Timing-Hinweisen auf.
- Fügen Sie eine Ambiente-Linie und optional eine zurückhaltende Musiknote hinzu, damit das Audio beabsichtigt wirkt.
- Vermeiden Sie widersprüchliche Anweisungen; kurze Zeitpläne in MiniMax H3 Taomate 3-Schritt-Beschleunigung belohnen Klarheit.
- Starke Referenzbilder
- Verwenden Sie einen sauberen, mittleren oder mittelweiten Rahmen mit sichtbarem Gesicht des Motivs und lesbarer Garderobe.
- Halten Sie die Beleuchtungstemperatur und den Hintergrund ähnlich der Zielszene, um Farbverschiebungen zu reduzieren.
- Schnelle, stabile Iterationen
- Sperren Sie Ihren Seed, um Prompts fair zu vergleichen; ändern Sie nur eine Steuerung gleichzeitig.
- Beginnen Sie mit einer moderaten Auflösung, überprüfen Sie Bewegung und Synchronisation, dann skalieren Sie mit demselben Seed für den finalen Durchgang auf.
- Stilkontrolle
- Tauschen Sie die enthaltene Stil-LoRA gegen eine andere H3-kompatible LoRA aus, wenn Sie einen anderen Genre-Look wünschen.
- Halten Sie die TaoMate H3 Beschleunigungs-LoRA aktiv, um das MiniMax H3 Taomate 3-Schritt-Beschleunigungs-Geschwindigkeitsprofil beizubehalten.
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken RunningHub.ai für die Workflow-Quelle, TaoLiveAIGC für das TaoMate-H3-Projekt und Modell sowie MiniMaxAI für das MiniMax-H3-Modell für ihre Beiträge und Wartung. Für autoritative Details konsultieren Sie bitte die Originaldokumentation und -repositories, die unten verlinkt sind.
Ressourcen#
- RunningHub.ai/Workflow-Quelle
- Docs / Release Notes: RunningHub.ai post
- TaoLiveAIGC/TaoMate-H3 Projekt
- GitHub: TaoLiveAIGC/TaoMate-H3
- Hugging Face: TaoLiveAIGC/TaoMate-H3
- TaoLiveAIGC/TaoMate-H3 Modell
- Hugging Face: TaoLiveAIGC/TaoMate-H3
- GitHub: TaoLiveAIGC/TaoMate-H3
- MiniMaxAI/MiniMax H3 offizielles Modell
- Hugging Face: MiniMaxAI/MiniMax-H3
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und des Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Wartenden.
