Workflow-Tutorial#
LTX 2.3 Director 2.0 Zeitleiste Video-Workflow für ComfyUI#
LTX 2.3 Director 2.0 ist ein Zeitleisten-zuerst ComfyUI-Workflow zur Generierung, Erweiterung, Wiederholung und audio-bewussten Bearbeitung von LTX‑2.3 Videos. Es basiert auf dem Drittanbieter LTX Director 2.0-Zeitleistenknoten und einer zweistufigen Render-Pipeline, die zuerst die Szene erstellt, dann hochskaliert und verfeinert. Das Ergebnis ist ein kontrollierbarer, leinwandartiger Prozess, ideal für KI-Filmemacher, die längere, taktgesteuerte Sequenzen wünschen, ohne auf kreative Iteration zu verzichten.
Dieses verifizierte Diagramm treibt das Lightricks’ LTX‑2.3 22B destillierte Modell mit speziellen Video- und Audio-VAEs sowie dem LTX‑2.3 räumlichen x2 Upscaler an. Eingaben, Bewegungshilfen und optionale Wiederholungen werden direkt auf der Zeitleiste erstellt, und der Workflow hält automatisch die Bildstabilität während des Stage 2-Upscales aufrecht. Es ist RunComfy-bereit und für zuverlässige tägliche Produktionen konzipiert.
Wichtige Modelle im Comfyui LTX 2.3 Director 2.0 Workflow#
- Lightricks LTX‑2.3 22B Destilliert (nur Transformer) – das generative Video-Rückgrat, das Bewegung und Bilder aus Text und Anleitungen synthetisiert. Model card
- LTX‑2.3 Video VAE (bf16) – kodiert/dekodiert Video-Latents für effizientes Rauschentfernen und finale Frame-Rekonstruktion. Assets
- LTX‑2.3 Audio VAE (bf16) – wandelt Zeitleisten-Audio in Latents für audio-bewusste Führung um und stellt die Wellenform am Ende wieder her. Assets
- LTX‑2.3 Räumlicher Upscaler x2 v1.1 – Superauflösung im latenten Raum, die räumliche Details vor dem finalen Durchgang verdoppelt. Assets
- LTX‑2.3 Textprojektion – kartiert Eingaben in den Einbettungsraum des Modells für konsistente Konditionierung. Assets
- Optionales Tiny VAE für Vorschauen (taeltx2_3) – leichtes Vorschau-VAE, das für schnelle Modellvorschauen verwendet wird. Kijai LTX2.3_comfy
Die Zeitleistenwerkzeuge und Anleitungsknoten werden von WhatDreamsCost’s benutzerdefinierter ComfyUI-Erweiterung bereitgestellt. WhatDreamsCost‑ComfyUI
Wie man den Comfyui LTX 2.3 Director 2.0 Workflow verwendet#
Dieser Workflow läuft in zwei koordinierten Stufen: Stufe 1 erstellt ein kohärentes Basisvideo und Audio-Latent von der LTX Director-Zeitleiste; Stufe 2 skaliert hoch, bewahrt die Bildstabilität und verfeinert Details; die Prozessvideo-Gruppe dekodiert Frames, stellt Audio wieder her, setzt fps und schreibt die finale Datei.
Modelle + Vorschau#
Die „Modelle + Vorschau“-Gruppe lädt das LTX‑2.3 22B destillierte Rückgrat, Video- und Audio-VAEs und den räumlichen x2 Upscaler. ModelPreviewOverrideKJ (#10) paart das Rückgrat mit einem kleinen Vorschau-VAE, sodass Sie Eingaben prüfen und auf Vernünftigkeit testen können, bevor Sie vollständig sampeln. LTXDirector (#131) ist die Leinwand, auf der Sie Dauer, Bildrate, globale und segmentweise Eingaben, Bewegungsanweisungen und Audioeinstellungen festlegen. Wenn Sie iterative Wiederholungen planen, halten Sie den RandomNoise (#30) Seed stabil, um die Struktur über Bearbeitungen hinweg zu behalten.
Stufe #1#
Stufe 1 wandelt Ihre Zeitleiste in Konditionierung und ein Basis-Audio-Video-Latent um. LTXVConditioning (#27) erhält positive Konditionierung vom Director und eine auf null gesetzte negative über ConditioningZeroOut (#128) für eine saubere Basislinie. LTXDirectorGuide (#133) fusioniert Anleitungsdaten, Bewegungsanweisungen, das Modell und das Video-VAE, um geführte Konditionierung und ein initiales Video-Latent zu erzeugen; Audio vom Director wird über LTXVConcatAVLatent (#29) kombiniert. Der Sampler-Stack (CFGGuider (#28), BasicScheduler (#33), KSamplerSelect (#32), SamplerCustomAdvanced (#31)) entfernt Rauschen aus diesem AV-Latent zu einem ersten Ergebnis, das dann durch LTXVSeparateAVLatent (#34) geteilt wird, sodass das Audio-Latent weitergetragen werden kann.
Stufe #2 Upscale#
Stufe 2 bewahrt Ihre Bildstabilität, während räumliche Details und Verfeinerungen hinzugefügt werden. LTXDirectorCropGuides (#55) analysiert das Video-Latent und die Konditionierung von Stufe 1, um Zuschneideanleitungen zu erstellen, die Objekte während des Upscales stabil halten. LTXVLatentUpsampler (#14) wendet das LTX‑2.3 räumliche x2 Modell auf das Video-Latent mit dem vollständigen Video-VAE an, dann wendet LTXDirectorGuide (#132) die Zeitleistenführung auf das hochauflösende Latent erneut an und vereint es mit dem getragenen Audio-Latent über LTXVConcatAVLatent (#18). Der zweite Sampler-Stack (CFGGuider (#17), BasicScheduler (#21), KSamplerSelect (#20), SamplerCustomAdvanced (#19)) erzeugt das finale AV-Latent; ein letzter LTXDirectorCropGuides (#54) Durchgang stellt sicher, dass Zuschneidung respektiert wird, bevor dekodiert wird.
Video verarbeiten#
VAEDecode (#1) wandelt das finale Video-Latent in Frames mit dem hochqualitativen Video-VAE um, während LTXVAudioVAEDecode (#24) die Wellenform aus dem Audio-Latent wiederherstellt. CreateVideo (#2) kombiniert Frames und Audio mit der Bildrate, die vom Director gesendet wird, und SaveVideo (#37) schreibt die Datei in den im Knoten definierten Ausgabefolder. Wenn Ihr Finale nicht mit dem Timing übereinstimmt, passen Sie die Bildrate des Directors oder die Zeitleistensegmentgrenzen an und rendern Sie erneut.
Wichtige Knoten im Comfyui LTX 2.3 Director 2.0 Workflow#
LTXDirector (#131)#
Das Zeitleistengehirn des Workflows. Schreiben Sie die globale Eingabe, platzieren Sie segmentweise Eingaben, aktivieren Sie Audio- und Bewegungsstrecken und legen Sie Dauer und Bildrate fest. Verwenden Sie Wiederholungen, indem Sie das Wiederholungsfenster und die Eingabe spezifizieren; nur dieses Fenster wird regeneriert, wobei der umgebende Kontext erhalten bleibt. Aktivieren Sie audio-bewusste Bearbeitung, damit Soundtrack oder VO das Tempo und die Betonung beeinflussen. Der optionale latente Eingang kann verwendet werden, um Iterationen zu verankern, wenn Sie eine konsistente Aufbaustruktur wünschen.
LTXDirectorGuide (#133)#
Stufe 1 Führung, die Zeitleisteneingaben, Anleitungsdaten und Bewegungsanweisungen in Konditionierung und ein Seed-Video-Latent umwandelt. Es legt Komposition und Bewegungsfluss bei Basisauflösung fest. Passen Sie es an, wenn Sie eine stärkere narrative Einhaltung oder klareres Blockieren vor dem Upscale benötigen. Seine Ausgaben treiben den Stufe 1 Sampler an und bereiten Zuschneideanleitungen für die nächste Stufe vor.
LTXDirectorGuide (#132)#
Stufe 2 Führung, die nach dem räumlichen x2 Upscale arbeitet. Es injiziert dieselbe Zeitleistenintelligenz bei höherer Auflösung erneut, sodass Details schärfen, ohne die Komposition zu brechen. Wenn Sie mehr Textur oder Mikrobewegung wünschen, lenken Sie hier Entscheidungen, damit Stufe 2 Ihre Absicht in Stufe 1 verfeinert, statt sie neu zu schreiben.
LTXVLatentUpsampler (#14)#
Wendet den LTX‑2.3 räumlichen x2 v1.1 Upscaler im latenten Raum an, um Details effizient hinzuzufügen. Verwenden Sie es, um die räumliche Treue vor dem finalen Rauschunterdrückungsdurchgang zu verdoppeln, was typischerweise Kanten, kleine Requisiten und Typografie verbessert. Lassen Sie es für Master-Render aktiviert; erwägen Sie das Überspringen nur für sehr schnelle Voransichten.
LTXDirectorCropGuides (#55)#
Berechnet segmentweise Zuschneidefenster, sodass die Bildkomposition den Upscale-Pfad überlebt. Verwenden Sie es, wann immer Sie aufnahmespezifische Kompositionen, Neurahmungen oder Letterboxen haben, um ein konsistentes Aussehen über beide Stufen hinweg zu bewahren. Wenn Sie driftende Zuschneidungen sehen, überprüfen Sie Ihre Zeitleistensegmente und generieren Sie Anleitungen neu.
SamplerCustomAdvanced (#31)#
Stufe 1 Sampler, der Konditionierung in das Basis-AV-Latent übersetzt. Paaren Sie es mit dem Stufe 1 Führer und Scheduler, um Adhärenz und Erkundung auszugleichen. Für stabile Wiederholungen behalten Sie den gleichen Rausch-Seed bei; für neue Variationen randomisieren Sie den Seed.
SamplerCustomAdvanced (#19)#
Stufe 2 Sampler, der Details nach dem Upscale finalisiert. Es sollte mit den Entscheidungen der Stufe 1 harmoniert bleiben, damit die Verfeinerung treu bleibt. Wenn die Ergebnisse zu glatt oder zu scharf wirken, passen Sie hier zuerst den Samplertyp oder die Scheduler-Paarung an.
Optionale Extras#
- Um eine Sequenz zu erweitern, fügen Sie Segmente auf der Director-Zeitleiste hinzu und erhöhen Sie die Dauer; der Workflow propagiert neue Zeiten und Audio automatisch.
- Für taktgesteuerte Bearbeitungen aktivieren Sie audio-bewusste Bearbeitung und platzieren Sie Audiosegmente; das Audio-VAE wird Bewegung und Betonung während des Samplings leiten.
- Wenn Sie reproduzierbare Wiederholungen wünschen, halten Sie
RandomNoise(#30) fixiert; um Alternativen zu erkunden, ändern Sie den Seed zwischen den Rendern. - Das Vorschau-VAE beschleunigt die Look-Entwicklung; verlassen Sie sich nur für Finals auf die Video-VAE-Dekodierung, um Zeit zu sparen.
- Halten Sie die Resize-Methode des Directors auf Maintain-Aspect, um unbeabsichtigtes Strecken nach dem Upscale-Schritt zu verhindern.
- Die Ausgabeorganisation wird in
SaveVideo(#37) gesteuert; setzen Sie einen klaren Ordner pro Projekt, um Iterationen ordentlich zu halten.
Links und Referenzen
- LTX‑2.3 Modelle und Assets: Lightricks/LTX‑2.3
- Zeitleisten- und Anleitungs-Knoten: WhatDreamsCost‑ComfyUI
- Vorschau-Dienstprogramme: ComfyUI‑KJNodes
- Kleines Vorschau-VAE: Kijai LTX2.3_comfy
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken MDMZ für das Workflow-Tutorial, WhatDreamsCost für die WhatDreamsCost-ComfyUI-Knoten und Lightricks für das LTX-2.3-Modell für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und die unten verlinkten Repositories.
Ressourcen#
- MDMZ Workflow-Tutorial (YouTube)
- Docs / Release Notes: Workflow Tutorial Quelle
- WhatDreamsCost/YouTube-Kanal
- Docs / Release Notes: WhatDreamsCost YouTube-Kanal
- WhatDreamsCost/WhatDreamsCost-ComfyUI
- Lightricks/LTX-2.3
- Hugging Face: Lightricks/LTX-2.3
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Wartenden bereitgestellt werden.
