LTX 2.5 GGUF ComfyUI Bild‑zu‑Video mit synchronisiertem Audio#
Dieser LTX 2.5 GGUF ComfyUI-Workflow verwandelt ein einzelnes Quellbild und eine natürliche Spracheingabe in ein kurzes Video mit einem generierten, synchronisierten Audiotrack. Er nutzt die offizielle LTX‑2.5 Modellfamilie für Video- und Audiogenerierung, die über einen GGUF-quantisierten UNet-Pfad geleitet wird, um VRAM zu reduzieren und gleichzeitig filmische Bewegung und Szenenkohärenz zu bewahren.
Der Graph ist für schnelle Iterationen bei Charakteraufnahmen, Maschinen- und Umgebungsbewegungen konzipiert. Er enthält einen Schalter für Bild-zu-Video oder Text-zu-Video, eine zweistufige latente Pipeline (grober Durchgang, dann latente Hochskalierung) und gekacheltes Decodieren, um den Speicherbedarf niedrig zu halten. Wenn Sie einen kompakten, produktionsbereiten Pfad benötigen, ist dieser LTX 2.5 GGUF ComfyUI-Workflow ein praktischer Ausgangspunkt.
Schlüsselmodelle im ComfyUI LTX 2.5 GGUF ComfyUI-Workflow#
- LTX‑2.5 (offiziell, von Lightricks). Kernmodell zur Video- und Audiogenerierung, verwendet für Bewegungssynthese und multimodale Anleitung. Model card
- LTX‑2.5 Video VAE (bf16). Kodiert und dekodiert Videolatente für effiziente Generierung, gepaart mit dem Hauptmodell. In der LTX‑2.5-Repository unter vae/ enthalten. Video VAE
- LTX‑2.5 Audio VAE (bf16). Handhabt den Audiolatenzpfad, damit die endgültige Wiedergabe synchronisierten Sound enthält. In der LTX‑2.5-Repository unter vae/ enthalten. Audio VAE
- Gemma‑basiertes 12B-Textencoder mit LTX‑2.5-Projektion. Bietet Eingabecodierungen, die zu LTX‑2.5 passen, verpackt von der LTX-Repository unter text_encoders/. Text encoder
- LTX‑2.5 Latent Spatial Upscaler x2 1.0. Ein latenter Superauflösungsmodell, das nach dem groben Durchgang Details hinzufügt. Upscaler
- LTX‑2.5 Distilled UNet (GGUF quantisiert). Quantisierte UNet-Gewichte, die über den ComfyUI‑GGUF-Loader geladen werden, um den Speicherverbrauch zu senken, während die Qualität akzeptabel bleibt. GGUF ist das Inferenzformat, kein offizieller Modellname. ComfyUI‑GGUF
Verwendung des ComfyUI LTX 2.5 GGUF ComfyUI-Workflows#
Die Pipeline läuft in zwei Stufen: ein geführter Niedrigauflösungsdurchgang zur Festlegung von Bewegung und Timing, gefolgt von latenter Hochskalierung und einer Hochauflösungsverfeinerung. Audio wird als gepaarte Latenz durchgehend mitgeführt, dann dekodiert und mit den endgültigen Frames gemuxt.
Modell#
Laden Sie das GGUF-quantisierte UNet mit UnetLoaderGGUF (#406). Video- und Audio-VAEs werden mit VAELoader (#385, #386) ausgewählt, und der Gemma-basierte Textencoder wird von CLIPLoader (#387) bereitgestellt. Der Upscaler wird mit LatentUpscaleModelLoader (#371) gewählt. Diese Gruppe definiert das Rückgrat, auf das sich alle anderen Gruppen stützen.
Eingabeaufforderung#
Schreiben Sie Ihre Szenenbeschreibung im Feld Prompt, konzentrieren Sie sich auf Themen, Bewegungen und eine klare Kamerabewegung. Der Textencoder bettet positive und negative Eingaben durch LTXVConditioning (#365) ein, das auch die gewählte Bildrate akzeptiert, um das Timing zu synchronisieren. Wenn Sie sprachähnliches Audio wünschen, fügen Sie kurze zitierte Zeilen hinzu; der Audiopfad wird auf den textlichen Kontext reagieren und szenenbewusst bleiben. Halten Sie Eingaben prägnant und spezifisch, um widersprüchliche Anleitungen zu vermeiden.
Videoeinstellungen#
Stellen Sie Dauer, Bildrate und Zielgröße ein. Dienstprogramme konvertieren Sekunden und fps in Frame-Anzahlen, sodass der Graph die richtige temporale Länge zuweist. Halten Sie sich an Größen, die Vielfache von 32 sind, für Stabilität und Geschwindigkeit. Verwenden Sie den Auflösungswähler, um ein gängiges Seitenverhältnis zu wählen, und passen Sie dann auf die gewünschte Skala an.
Bildvorverarbeitung#
Laden Sie das erste (Referenz-)Frame und lassen Sie LTXVPreprocess (#350) es für LTX‑2.5 normalisieren. Der Schalter Switch to Text to Video? (#363) steuert, ob das Bild als räumlicher Anker verwendet oder für reines Text-zu-Video umgangen wird. Der Resize-Helfer hält Ihren Eingang konsistent mit der Arbeitsauflösung. Gute Vorverarbeitung verbessert die Identitätserhaltung und das Layout.
Leere Latenz#
EmptyLTXVLatentVideo (#356) und LTXVEmptyLatentAudio (#366) reservieren die temporale Leinwand für Video und Audio. Diese Längen stammen aus Ihren Dauer- und fps-Auswahlen. Diese Trennung stellt sicher, dass die Video- und Audiowege synchron bleiben, während sie durch Sampling und Verfeinerung gehen.
Niedrigauflösende Generierung#
Der erste Samplerblock verwendet LTXVDualCFGGuider (#388) mit Ihrer Eingabebedingung, um Bewegung und Szenendynamik zu steuern, und synthetisiert dann eine grobe Latenz mit SamplerCustomAdvanced (#344). Wenn Sie Bild-zu-Video durchführen, injiziert LTXVImgToVideoInplace (#357) das Referenzbild in die Latenz, um Identität und Komposition zu stabilisieren; es wird für Text-zu-Video umgangen. Dieser Durchgang ist absichtlich leichter, um Bewegung und Timing vor dem Hochskalieren festzulegen.
Latente Hochskalierung#
LTXVSeparateAVLatent (#367) trennt Audio und Video, sodass die Videolatenz von LTXVLatentUpsampler (#348) mit dem x2-Modell verbessert werden kann. Das vorverarbeitete Bild wird optional mit LTXVImgToVideoInplace (#349) erneut angewendet, um Details nach dem Hochskalieren konsistent zu halten. Die Audiolatenz wird dann über LTXVConcatAVLatent (#340) wieder angeschlossen, um die Synchronisation zu bewahren.
Hochauflösende Generierung#
Ein zweiter Samplerblock (LTXVDualCFGGuider (#391) plus SamplerCustomAdvanced (#368)) verfeinert Details und temporale Konsistenz in größerem Maßstab. LTXVSeparateAVLatent (#369) gibt Audio an LTXVAudioVAEDecode (#358) weiter, während die Videolatenz mit VAEDecodeTiled (#374) dekodiert wird, um VRAM-Spitzen zu reduzieren. CreateVideo (#370) setzt Frames und Audio zu dem endgültigen MP4 bei Ihrer Ziel-fps zusammen.
Schlüssel-Knoten im ComfyUI LTX 2.5 GGUF ComfyUI-Workflow#
UnetLoaderGGUF (#406)#
Lädt das LTX‑2.5 destillierte UNet im GGUF-Format. Wählen Sie die quantisierte Datei, die zu Ihrem VRAM-Budget passt; leichtere Quantisierung senkt den Speicher und beschleunigt die Inferenz bei einigen Qualitätskosten. Wenn Sie auf eine weniger quantisierte Datei aufrüsten, erwarten Sie schärfere Texturen und stabilere feine Bewegungen.
LTXVImgToVideoInplace (#357 und #349)#
Injiziert das erste Frame in die Latenz, sodass sich die Bewegung von Ihrem Bild entwickelt, anstatt davon abzuweichen. Schalten Sie den bypass-Eingang um, wenn Sie zwischen Bild-zu-Video und Text-zu-Video wechseln. Verwenden Sie den niedrig auflösenden Knoten (#357) für die anfängliche Stabilisierung und den hoch auflösenden Knoten (#349) für die erneute Verankerung von Details nach dem Hochskalieren.
LTXVLatentUpsampler (#348)#
Wendet den LTX‑2.5 Latent Spatial Upscaler an, um Details hinzuzufügen, ohne zu Pixeln zu dekodieren. Verwenden Sie ihn, wenn Sie mehr Definition bei fast denselben Speicherkosten wie beim groben Durchgang wünschen. Wenn Sie nach dem Hochskalieren Flackern sehen, stärken Sie die Anleitung im folgenden Verfeinerungsstadium leicht.
ManualSigmas (#397 und #396)#
Steuert den Entstörungszeitplan, der von den Samplern verwendet wird. Kürzere Zeitpläne sind schneller, können jedoch die Adhärenz oder zeitliche Glätte reduzieren; längere oder frontgeladene Zeitpläne fügen Stabilität bei zusätzlichen Kosten hinzu. Kombinieren Sie dies mit der Samplerwahl, um Geschwindigkeit und Qualität für Ihre Szene auszugleichen.
VAEDecodeTiled (#374)#
Dekodiert die hochauflösende Videolatenz zu Frames mit Kacheln, um den VRAM-Verbrauch zu begrenzen. Wenn Ihnen der Speicher ausgeht, reduzieren Sie die Kachelgröße oder aktivieren Sie stärkeres Kacheln; wenn Sie Nähte sehen, erhöhen Sie die Überlappung oder versuchen Sie eine größere Kachel. Halten Sie Ihre VAE-Auswahl auf das offizielle LTX‑2.5 Video VAE abgestimmt.
CreateVideo (#370)#
Muxes die Bildsequenz und das dekodierte Audio in eine endgültige Videodatei. Stellen Sie fps auf Ihre Generationsbildrate ein, um Zeitdehnung zu vermeiden. Verwenden Sie dies als einzigen Renderpunkt für konsistente Ausgaben über Iterationen hinweg.
Optionale Extras#
- Für Bild-zu-Video beschreiben Sie nur eine klare Kamerabewegung und die Aktion des Subjekts; vermeiden Sie mehrere konkurrierende Bewegungen.
- Für Text-zu-Video halten Sie Eingaben prägnant und fügen Sie bei Bedarf kurze zitierte Zeilen für sprachähnliches Audio hinzu.
- Auflösungstipps: Halten Sie sich an Vielfache von 32; gängige 16:9-Größen sind 960x544 (schnell) und 1344x768 oder 1504x832 (schärfer). Erhöhen Sie nur, wenn Sie VRAM-Spielraum haben.
- Wenn Ergebnisse die Eingabe ignorieren, erhöhen Sie die Anleitung im Samplerblock oder vereinfachen Sie die Eingabesprache.
- Für Reproduzierbarkeit über Läufe hinweg setzen Sie einen festen Seed im Rausch-Knoten; zufällige Seeds sind am besten für Erkundungen.
- Wenn VRAM knapp ist, bevorzugen Sie das GGUF Q-Level, das Sie sich leisten können, und halten Sie den Upscaler aktiviert; er fügt Details bei minimalen Speicherkosten hinzu.
Links zur Referenz: die offiziellen LTX‑2.5 Modelle und Assets befinden sich auf Hugging Face, und der GGUF UNet Loader stammt von ComfyUI‑GGUF.
- LTX‑2.5 Modelle und Assets: Lightricks/LTX‑2.5
- GGUF Loader: city96/ComfyUI‑GGUF
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Lightricks für LTX-2.5 und city96 für ComfyUI-GGUF für ihre Beiträge und Pflege. Für autoritative Details verweisen wir auf die unten verlinkte Originaldokumentation und -repositories.
Ressourcen#
- Lightricks/LTX-2.5
- Hugging Face: Lightricks/LTX-2.5
- city96/ComfyUI-GGUF
- GitHub: city96/ComfyUI-GGUF
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von den Autoren und Betreuern bereitgestellt werden.
