LTX 2.3 Director | Cinematischer KI-Videoersteller

LTX 2.3 Director: Zeitachsenbasierte KI-Filmproduktion für ComfyUI#

LTX 2.3 Director ist ein filmischer, zeitachsengetriebener Workflow zur Erstellung strukturierter KI-Videos mit präziser kreativer Kontrolle. Basierend auf dem LTX-2.3-Video-Modell können Sie mehrszenige Sequenzen leiten, indem Sie Aufforderungen, Referenzbilder, Übergänge und Musik entlang einer vertrauten Zeitachse anordnen. Das Ergebnis ist ein Regisseur-Erlebnis innerhalb von ComfyUI, bei dem Bewegungsfortsetzung, Bildkomposition und Audiosynchronisation von Anfang bis Ende kohärent gehandhabt werden.

Entwickelt für Geschichtenerzähler, Musikvideomacher, Trailer-Editoren und alle, die KI-Filmproduktionspipelines aufbauen, verwandelt LTX 2.3 Director die Aufforderungsgestaltung in einen vollständigen Produktionsfluss. Sie legen den globalen Ton fest, verfeinern jeden Shot mit lokalen Aufforderungen und können schnell eine Vorschau anzeigen, bevor Sie sich für ein hochwertiges Upscaling und den endgültigen Export entscheiden.

Schlüsselmodelle im Comfyui LTX 2.3 Director-Workflow#

• LTX-2.3 22B (FP8) Video-Generierungsmodell. Kern-Diffusionsrückgrat, das Text und Referenzen in kohärente Video-Latents umwandelt. Model repo
• LTX-2.3 Video VAE (bf16). Kodiert und dekodiert Videoframes in einen kompakten latenten Raum für effizientes Sampling und hochfidele Rekonstruktion. Model repo
• LTX-2.3 Audio VAE (bf16). Packt und stellt Audio in das gemeinsame AV-Latent wieder her, sodass Bewegung und Soundtrack synchron bleiben. Model repo
• LTX-2.3 Spatial Upscaler x2 v1.1. Dedizierter x2 latenter Upscaler, der Detail und Schärfe im Verfeinerungspass erhöht. Model repo
• LTX-2.3 22B Distilled LoRA (384). Optionales LoRA, das Qualität/Effizienz verbessert und das Aussehen des Modells verändern kann. Model card
• Tiny VAE (taeltx2_3). Leichtgewichtige VAE für schnelle Vorschauen während der Iteration vor dem Upscaling-Pass. Model repo
• LTX-2.3 Text Projection (bf16). Die offizielle Text-zu-Video-Projektion für hochwertige Aufforderungs-Konditionierung. Model repo

Verwendung des Comfyui LTX 2.3 Director-Workflows#

Der Workflow läuft in zwei Phasen ab. Phase #1 legt Komposition, Bewegung und Audioausrichtung mit Vorschaugeschwindigkeit fest. Phase #2 skaliert hoch, leitet neu und verfeinert Details für die endgültige Qualität. Ein Abschlussblock dekodiert, muxiert Audio und schreibt das Video.

Modelle#

Dieser Abschnitt bereitet den Modellstapel und den Text-Encoder vor, die LTX 2.3 Director antreiben. Laden Sie das LTX-2.3-Basismodell und, falls gewünscht, fügen Sie LoRAs hinzu, um Stil oder Effizienz zu optimieren. Eine kleine VAE beschleunigt Vorschauen, während die vollständigen VAEs später die Treue sicherstellen. Die dualen Textkomponenten, die mit LTX-2.3 gebündelt sind, bieten robuste Aufforderungs-Konditionierung ohne zusätzlichen Aufwand.

Wichtige Knoten, nach denen Sie suchen sollten: CheckpointLoaderSimple (#77), DualCLIPLoader (#84), LoraLoaderModelOnly (#80, #93, #95), VAELoaderKJ (#78, #4, #3) und LTX2SamplingPreviewOverride (#79).

Phase #1#

Phase #1 verwandelt Ihre Zeitachse in ein kohärentes Erstpass-Video mit synchronisiertem Audio. Füttern Sie Ihren globalen Ton und pro Shot Aufforderungen in LTXDirector (#46) und montieren Sie eine Sequenz von Segmenten mit Bildern und Dauer; der Knoten gibt kombinierte AV-Latents, Leitdaten und eine Bildrate zurück. LTXVConditioning (#5) und LTXDirectorGuide (#8) verwandeln diese Anweisungen in strukturierte Anleitungen. Ein Samplerstapel mit CFGGuider (#9), BasicScheduler (#11), KSamplerSelect (#29) und SamplerCustomAdvanced (#10) erzeugt das anfängliche AV-Latent für die gesamte Zeitachse. Verwenden Sie diesen Pass, um Szenenreihenfolge, Tempo und breite Bewegungen zu validieren, bevor Sie Rechenleistung in das Upscaling investieren.

Phase #2 Upscale#

Phase #2 verbessert die Auflösung und Treue, während die Absicht des ersten Durchgangs bewahrt wird. LTXVCropGuides (#55) richtet die Komposition über Shots hinweg aus, dann wendet LTXVLatentUpsampler (#52) den x2 räumlichen Upscaler an, der von LatentUpscaleModelLoader (#57) geladen wurde. Ein zweiter LTXDirectorGuide (#58) injiziert die Zeitachsenhinweise mit höherem Detail erneut, und der Samplerstapel (CFGGuider (#49), BasicScheduler (#54), KSamplerSelect (#53), SamplerCustomAdvanced (#47)) verfeinert Texturen, Gesichter und Kanten. Das AV-Latent wird dann zur endgültigen Dekodierung getrennt, während die verknüpfte Audio- und Videotiming erhalten bleibt.

Video verarbeiten#

Der Abschlussblock dekodiert Frames und Audio, rekonstruiert die Sequenz und speichert das Ergebnis. LTXVCropGuides (#14) sorgt für Abdeckung für das gewählte Seitenverhältnis, und VAEDecodeTiled (#94) dekodiert sicher hochauflösendes Video, ohne Speicher zu erschöpfen. LTXVAudioVAEDecode (#16) stellt den Soundtrack aus dem Audio-Latent wieder her. CreateVideo (#17) montiert Frames und Audio bei Ihrer gewählten fps, und SaveVideo (#30) schreibt die endgültige Datei.

Schlüssel-Knoten im Comfyui LTX 2.3 Director-Workflow#

• LTXDirector (#46). Das Herzstück von LTX 2.3 Director. Es akzeptiert eine globale Aufforderung, eine Zeitachse von Shot-Segmenten und optionale lokale Aufforderungen pro Shot, dann gibt es strukturierte Anleitungen plus synchronisierte AV-Latents aus. Stimmen Sie das Gleichgewicht zwischen globalen und lokalen Aufforderungen ab, um zu steuern, wie eng jeder Shot seiner eigenen Beschreibung folgt. Für schnittgesteuerte Bearbeitungen halten Sie Segmentdefinitionen sauber; für fließende Übergänge erlauben Sie Überlappung und konsistente Stil-Sprache.
• LTXDirectorGuide (#8). Wandelt die Hinweise des Regisseurs in umsetzbare Anleitungen für Phase #1 um. Passen Sie seine Skala und die Resampling-Methode an, um Geschwindigkeit gegen Treue während des Vorschau-Passes einzutauschen. Wenn Szenen zu grob aussehen, erhöhen Sie seinen Einfluss; wenn sie übermäßig eingeschränkt sind, reduzieren Sie ihn, damit der Sampler atmen kann.
• LTXDirectorGuide (#58). Ein zweiter, höherfideliger Leitfaden für Phase #2. Verwenden Sie ihn, um Framing, Kameraabsicht und Stil nach dem Upscaling erneut zu bestätigen. Balancieren Sie diesen Knoten mit dem Upscaler: stärkere Anleitungen sperren die Komposition, während eine leichtere Berührung dem Upscaler erlaubt, Detail und Mikrotextur zu betonen.
• LTXVCropGuides (#55). Normalisiert die Komposition und erzwingt Aspektregeln vor dem Upscaling. Verwenden Sie es, um Horizonte, Kopffreiheit und das Zentrum des Interesses über Schnitte hinweg zu stabilisieren. Wenn ein Charakter von Frame zu Frame driftet, verstärken Sie diese Zuschnittsrichtlinien vor dem Resampling.
• LTXVLatentUpsampler (#52). Wendet den LTX-2.3 Spatial Upscaler x2 auf das Latent an. Dies ist der Haupthebel, um aus der Vorschau der Phase #1 klare Details wiederherzustellen. Stellen Sie sicher, dass das gewählte Upscaler-Modell zu Ihrem VAE-Paar passt, um Fehlanpassungsartefakte zu vermeiden.
• CFGGuider (#9, #49). Steuert die Einhaltung der Aufforderung während des Samplings. Niedrigere Werte führen typischerweise zu flüssigeren Bewegungen und natürlicheren Übergängen; höhere Werte erzwingen textliche Präzision. Wenn Gesichter oder Requisiten driften, erhöhen Sie die Anleitung leicht; wenn die Bewegung steif aussieht, lockern Sie sie.
• BasicScheduler (#11, #54) und KSamplerSelect (#29, #53). Definieren den Geräuschplan und die Sampling-Methode. Zusammen bestimmen sie die Textur der Bewegung, die zeitliche Stabilität und die Renderzeit. Wenn Sie Flackern sehen, versuchen Sie einen glatteren Plan oder einen Sampler, der für zeitliche Konsistenz bekannt ist; wenn Ergebnisse Details fehlen, testen Sie einen Sampler, der Schärfe bevorzugt.
• SamplerCustomAdvanced (#10, #47). Der Arbeitspferd-Entrauscher für beide Durchgänge. Er kombiniert Ihren Geräusch-Seed, Plan, Führer und das aktuelle Latent, um AV-Latents zu erzeugen. Halten Sie Seeds fest, während Sie an Aufforderungen arbeiten, um Bearbeitungen vergleichbar zu machen; ändern Sie Seeds, wenn Sie frisches Blockieren oder Timing wünschen.
• VAEDecodeTiled (#94). Dekodiert hochauflösende Frames mit konfigurierbaren Kacheln. Wenn Sie Nähte bemerken, erhöhen Sie die Überlappung; wenn Sie Speichergrenzen erreichen, reduzieren Sie die Kachelgröße. Verwenden Sie gekachelte Dekodierung auch auf Mittelklasse-GPUs für konsistente Stabilität.
• CreateVideo (#17) und SaveVideo (#30). Muxen Frames und Audio bei der ausgewählten fps und schreiben den endgültigen Container. Halten Sie die fps mit Ihrer Zeitachse konsistent, sonst ändern Sie das Tempo. Für Archiv-Master exportieren Sie in der nativen Phase #2-Größe; für soziale Plattformen können Sie während des Exports die Größe ändern.

Optionale Extras#

• Erstellen Sie Ihre Zeitachse mit einer klaren Wirbelsäule: globaler Stil in der globalen Aufforderung, spezifische Shots in lokalen Aufforderungen und halten Sie Charakter-/Kameranomen konsistent über Segmente hinweg.
• Referenzbilder verankern das Aussehen und das Layout. Verwenden Sie sie für Schlüsselszenen wie Einstellungsrahmen oder Nahaufnahmen, dann lassen Sie benachbarte Segmente mehr auf Text für Flüssigkeit setzen.
• Für Musikvideos fügen Sie frühzeitig Audio hinzu und iterieren Sie Seeds, bis Bewegungsakzente auf Beats landen; dann sperren Sie den Seed und verfeinern Sie Aufforderungen.
• Wenn Übergänge ruckartig wirken, verlängern Sie benachbarte Segmentaufforderungen, um die Stil-Sprache zu teilen und halten Sie Kompositionsrichtlinien über den Schnitt hinweg ähnlich.
• LoRAs stapeln, aber subtile Stärken wirken oft am besten. Beginnen Sie bescheiden, kombinieren Sie nur ein paar gleichzeitig und testen Sie ihre Interaktion auf einem kurzen Ausschnitt.
• Reproduzierbarkeit ist wichtig: notieren Sie den Geräusch-Seed, die Sampler-Auswahl und alle verwendeten LoRAs, wenn Sie einen Look genehmigen.
• Wenn Gesichter nach dem Upscaling wackeln, erhöhen Sie den Einfluss der Anleitung in der Phase #2 LTXDirectorGuide (#58) oder wechseln Sie zu einem Plan, der zeitliche Stabilität bevorzugt.
• Erkunden Sie zusätzliche LTX-2.3-Ressourcen und -Modelle über die Community-Kuration-Liste. awesome-ltx2 auf GitHub

Mit LTX 2.3 Director können Sie komplexe, mehrszenige Videos auf eine Weise leiten, die sich vertraut anfühlt für Zeitachsen-Editoren wie Premiere oder After Effects, während die Flexibilität des ComfyUI-Knotendiagramms erhalten bleibt. Gestalten Sie die Geschichte in Phase #1, fügen Sie in Phase #2 Treue hinzu und liefern Sie filmische Ergebnisse mit synchronisiertem Audio in einem kohärenten Workflow.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Aiwood爱屋研究室 für den LTX 2.3 Director Workflow für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.

Ressourcen#

• Aiwood爱屋研究室/LTX 2.3 Director Workflow Source
  • Docs / Release Notes: LTX 2.3 Director Workflow Source

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen ihrer Autoren und Betreuer.