FastH3 Omni Referenz zu Video

FastH3 Omni Referenz zu Video: referenzgeführtes Video mit synchronisiertem Sound in 8 Schritten#

FastH3 Omni Referenz zu Video ist ein ComfyUI-Workflow, um ein einzelnes Referenzbild und eine Eingabeaufforderung in ein kurzes Video mit passendem Audio zu verwandeln. Es wird von FastVideo’s destilliertem FastH3 OmniRef-Checkpoint auf dem MiniMax H3-Rückgrat betrieben, das für schnelles 8-Schritt-Sampling optimiert ist. Der Workflow ist ideal für filmische Charakteraufnahmen, glänzende Produktclips und Reiseszenen, bei denen Sie den Look einer Referenz wünschen, aber die Bewegung, Kameraführung und der Sound Ihrer Eingabeaufforderung folgen sollen.

Dieser ComfyUI-Graph verbindet Referenzeingaben, Texteingabeaufforderungen, spärliche Aufmerksamkeit und einen gemeinsamen Video- und Audio-Diffusionsdurchlauf in einer sauberen Pipeline. Sie steuern den Szeneninhalt, die Kamerabewegungen und die Soundeffekte oder Dialoge direkt in der Eingabeaufforderung. Das Ergebnis ist ein referenzgetreuer Clip mit 24 fps und einem Audio, das die geschriebene Szene widerspiegelt.

Wichtige Modelle im ComfyUI FastH3 Omni Referenz zu Video-Workflow#

• FastVideo FastH3 OmniRef (Comfy). Der Kern-8-Schritt-Diffusions-Checkpoint, der sowohl das Video als auch das Audio aus Referenzeingaben plus einer Eingabeaufforderung generiert. Es ist für Referenz-zu-Video-Aufgaben destilliert, erzeugt starke Identität und synchronisierten Sound mit minimalen Schritten. Model card
• MiniMax H3 Video VAE (int8 convrot). Das Video-VAE, das spatiotemporale Latenten kodiert und dekodiert, die vom Diffusionsmodell verwendet werden und kompaktes Sampling und schnelle Rekonstruktion ermöglichen. Model file
• MiniMax H3 Audio VAE (fp32). Das Audio-VAE, das den Wellenform-Latenzpfad handhabt, damit der generierte Soundtrack mit der visuellen Zeitachse übereinstimmt. Model file
• Qwen3‑VL 32B MiniMax H3 NVFP4 AWQ Text-Encoder. Der große Vision-Language-Text-Encoder, der die Eingabeaufforderung analysiert und mit Referenzen für kohärente Aktionen, Kameradirektiven und Sound-Hinweise abgleicht. Model file
• Referenzvorlage. Die offizielle Comfy-Org-Referenz-zu-Video-Vorlage, die dieser Workflow folgt, angepasst für FastH3 Omni Referenz zu Video. Template JSON

So verwenden Sie den ComfyUI FastH3 Omni Referenz zu Video-Workflow#

Auf hoher Ebene lädt der Workflow Modelle, wendet Aufmerksamkeits- und Sigma-Patches an, baut Konditionierung aus Ihrer Eingabeaufforderung und Referenzen auf, führt eine 8-Schritt-gemeinsame Video-Audio-Diffusion durch, dekodiert zu Frames und Wellenform, dann multiplexiert und speichert ein Video.

Modelle#

Diese Gruppe lädt das FastVideo FastH3 OmniRef-Diffusionsmodell, die MiniMax H3 Video- und Audio-VAEs und den NVFP4 AWQ Text-Encoder. Das Beibehalten dieser Komponenten stellt sicher, dass der 8-Schritt-Plan und der gemeinsame Audiopfad wie erwartet funktionieren. Sie müssen hier nichts ändern, außer den richtigen Checkpoint auszuwählen. Laden Sie genau ein Diffusionsmodell; VAEs und Text-Encoder sind separate Assets.

Model Patches#

Das Modell ist mit MiniMaxH3SigmaShift gepatcht, um den Geräuschzeitplan für Video und Audio auszurichten, und ein Aufmerksamkeits-Backend wird ausgewählt. ModelAttentionBackend verwendet den schnellen int8-Kernel für dichte Regionen, während BlockSparseAttention für VSA konfiguriert ist, sodass lange Clips bei höheren Auflösungen effizient bleiben. Lassen Sie diese Auswahl für FastH3 Omni Referenz zu Video, da der Checkpoint für VSA und die gezeigten Sigma-Verschiebungen trainiert ist.

Konditionierung#

MiniMaxH3ReferenceToVideo baut die Konditionierung aus Ihrer Eingabeaufforderung und den Referenzen. Stecken Sie Ihr Referenzbild in den ersten Slot und schreiben Sie eine Eingabeaufforderung, die es mit einem Tag aufruft, z.B. „<Picture 1> geht auf die Kamera zu, Handkamera-Verfolgung, Meereswind, entfernte Möwen." Breite und Höhe kommen vom Auflösungswähler, und eine einfache Dauersteuerung in Sekunden wird in das Raster des Modells umgewandelt, sodass die Wiedergabe synchron bleibt. Wenn die Identitätstreue entscheidend ist, setzen Sie die ref_image_size des Knotens auf max; für Geschwindigkeit verwenden Sie match.

Abtastung#

Die Abtastgruppe kombiniert festes oder zufälliges RandomNoise, BasicGuider, einen einfachen Scheduler und die SamplerCustomAdvanced-Stufe. Der Zeitplan umfasst 8 Schritte, um dem destillierten FastH3 OmniRef-Rezept zu entsprechen, das Geschwindigkeit und Treue für Referenz-zu-Video ausbalanciert. Sie können den Samen ändern, um Variationen zu erkunden, ohne andere Einstellungen zu berühren. Die Video- und Audio-Latenten werden zusammen entwickelt, sodass Bewegung und Sound-Hinweise synchron bleiben.

Dekodierung und Videoerstellung#

Nach der Abtastung rekonstruiert VAEDecode die Frames aus den Video-Latenten und VAEDecodeAudio rekonstruiert den Soundtrack. CreateVideo multiplexiert Frames und Audio mit 24 fps in sRGB und erzeugt einen einzigen Stream. SaveVideo schreibt die endgültige Datei mit sinnvollen Standardeinstellungen auf die Festplatte. Das Ergebnis ist ein kompakter Clip, der sowohl Ihre Referenz als auch Ihre geschriebene Szene widerspiegelt.

Benutzereingaben#

• Auflösungswähler (Größe). Wählen Sie Seitenverhältnis und Pixelanzahl, um Detail und Laufzeit zu steuern; Breitbild 16:9 funktioniert gut für die meisten Aufnahmen.
• Float (Dauer). Legen Sie die Clip-Länge in Sekunden fest; sie wird auf den nächsten Wert im 17k+5 Frame-Raster des Modells gerundet, sodass das Timing sauber landet. Zum Beispiel werden 5 s zu 124 Frames bei 24 fps.
• Eingabetext (Eingabeaufforderung). Beschreiben Sie Handlungen des Subjekts, Kamerasprache und Sounddesign oder Dialog. Verweisen Sie auf Ihre Referenzen in der Reihenfolge mit Tags wie „<Picture 1>“.
• Bild laden. Fügen Sie eine saubere, gut beleuchtete Referenz für Aussehen oder Setting hinzu. Sie können den Knoten erweitern, um bei Bedarf weitere Referenzslots hinzuzufügen.

Wichtige Knoten im ComfyUI FastH3 Omni Referenz zu Video-Workflow#

MiniMaxH3ReferenceToVideo (#136) Dieser Knoten fügt die Eingabeaufforderung mit einer oder mehreren Referenzen zusammen und bereitet das gemeinsame Video-Audio-Latente vor. Verwenden Sie ihn, um Identitätsbewahrung, Kamerabewegungen und Schallereignisse an einem Ort zu steuern. Passen Sie Breite, Höhe, Länge und ref_image_size an, um Treue und Geschwindigkeit auszugleichen. Halten Sie Eingabeaufforderungen prägnant, aber explizit in Bezug auf Bewegung und Sound für beste Synchronisation.

BlockSparseAttention (#143) Der Aufmerksamkeits-Patch ermöglicht VSA-Block-sparse-Attention für längere Clips und höhere Auflösungen. In diesem Workflow ist es auf VSA mit einem konservativen Beibehalte-Prozentsatz eingestellt, um Qualität zu bewahren und Rechenaufwand zu sparen. Lassen Sie die Auswahl auf VSA für FastH3 Omni Referenz zu Video; das Umschalten auf andere sparsame Modi kann die Ergebnisse verschlechtern. Das Erhöhen des Beibehalte-Verhältnisses erhöht den Rechenaufwand, während das Senken die Treue verringern kann.

MiniMaxH3SigmaShift (#141) Sigma-Verschiebungen richten den Diffusionsgeräuschzeitplan zwischen Video und Audio aus, sodass beide in 8 Schritten sauber konvergieren. Die bereitgestellten Video- und Audio-Verschiebungen sind auf den OmniRef-Checkpoint abgestimmt und sollten für konsistente Ausgaben unverändert bleiben. Wenn Sie zu einem anderen MiniMax H3-Familien-Checkpoint wechseln, konsultieren Sie die Modellkarte, bevor Sie diese Werte ändern.

BasicScheduler (#124) Der Scheduler treibt die 8-Schritt-Trajektorie an, die vom destillierten Modell verwendet wird. Das Beibehalten der Schritte bei 8 bewahrt das beabsichtigte Geschwindigkeits-Qualitäts-Verhältnis; mehr Schritte fügen normalerweise Zeit hinzu, ohne klare Gewinne. Kombinieren Sie es mit einem festen Samen für Reproduzierbarkeit oder randomisieren Sie den Samen, um Alternativen mit derselben Struktur zu erkunden.

Optionale Extras#

• Schreiben Sie Eingabeaufforderungen, die Aktions- und Kameraverben mit Umgebungsgeräuschen oder kurzem Dialog für enge Audio-Visuelle Ausrichtung paaren.
• Für maximale Identität verwenden Sie eine hochauflösende, frontale Referenz und setzen ref_image_size auf max; für schnellere Iterationen verwenden Sie match.
• Wenn Sie bei langen Dauern Speicherprobleme sehen, reduzieren Sie die Auflösung oder verkürzen Sie den Clip, bevor Sie die Aufmerksamkeits-Einstellungen berühren.
• Verwenden Sie einen festen Samen, während Sie ein Aussehen entwickeln, und wechseln Sie dann zu zufälligen Samen, um eine Vielzahl von Aufnahmen aus demselben Setup zu generieren.
• Um eine Multi-Shot-Sequenz zu erstellen, rendern Sie mehrere kurze Clips aus derselben Referenz mit unterschiedlichen Kamera-Eingabeaufforderungen und schneiden Sie sie in Ihrem Video-Editor.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken FastVideo für das FastH3-Omni-Comfy-Modell und die FastH3 Omni-Modellsammlung, Hao AI Lab für den FastVideo OmniRef-Veröffentlichungsblog und Comfy-Org für die Referenz-zu-Video-Workflow-Vorlage, für ihre Beiträge und Wartung. Für autoritative Details konsultieren Sie bitte die originale Dokumentation und die unten verlinkten Repositories.

Ressourcen#

• FastVideo/FastH3-Omni-Comfy
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Hao AI Lab/FastVideo OmniRef release blog
  • Docs / Release Notes: FastVideo OmniRef update
• Comfy-Org/reference-to-video workflow template
  • GitHub: Comfy-Org/workflow_templates: templates/video_fasth3_ominiref_r2v.json
• FastVideo/fasth3-omni (collection)
  • Hugging Face: FastVideo/fasth3-omni

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.