LTX 2.3 Outpainting | Nahtlose Video-Rahmenerweiterung

LTX 2.3 Outpainting für ComfyUI: Nahtlose Video-Rahmenerweiterung mit zeitlicher Konsistenz#

Dieser Workflow implementiert LTX 2.3 Outpainting, um Videorahmen über ihre ursprünglichen Grenzen hinaus zu erweitern, während Bewegung, Beleuchtung und Perspektive erhalten bleiben. Er ist für Editoren und Kreateure konzipiert, die Seitenverhältnisänderungen, seitliche oder vertikale Erweiterungen und filmische Neurahmungen benötigen, ohne die Kontinuität zu unterbrechen. Mithilfe der IC‑LoRA-Leitlinie füllt LTX 2.3 Outpainting maskierte Leinwandbereiche konsistent über die Zeit hinweg und kann auch synchronisierten Ton erzeugen.

Der Workflow basiert auf Lightricks’ LTX‑2.3-Modell und seiner ComfyUI-Integration. Der Graph kombiniert einen intelligenten Outpaint-Vorprozessor mit IC‑LoRA-Conditioning, um die Generierung in die neu hinzugefügten Bereiche zu lenken. Sie können reine Text-zu-Video- oder Bild-zu-Video-Varianten ausführen, die Steuerrahmen in der Vorschau anzeigen und ein endgültiges MP4 mit Ton exportieren.

Schlüsselmodelle im Comfyui LTX 2.3 Outpainting-Workflow#

• LTX‑2.3 22B-Checkpoint. Kernmodell für Audio-Video-Diffusion, das die Generierungsqualität und zeitliche Stabilität steuert. Verwenden Sie die offiziellen LTX‑2.3-Gewichte wie ltx‑2.3‑22b‑dev oder ltx‑2.3‑22b‑distilled‑1.1 für schnellere Durchläufe Hugging Face page und die Details des Upstream-Modells im LTX‑Video-Repository GitHub und im Paper arXiv.
• Gemma 3 12B Instruct-Text-Encoder mit LTX 2.3 Textprojektion. Kodiert Eingabeaufforderungen mit starker Adhärenz und speist LTX‑2.3 durch ComfyUI’s Dual-Encoder-Setup. Siehe die Encoder-Karte Hugging Face und ComfyUI-Unterstützung GitHub.
• LTX‑2.3 Video VAE und Audio VAE. Kartiert zwischen Pixel- oder Wellenformraum und dem latenten Raum des Modells zur Dekodierung von Endrahmen und Audio. Verteilt im ComfyUI‑LTXVideo-Paket GitHub.
• LTX 2.3 Outpainting IC‑LoRA. Eine räumliche Erweiterungs-LoRA, die LTX‑2.3 dazu bringt, maskierte oder schwarze Bereiche als Generierungszonen zu behandeln und die Szenenkontinuität über die Zeit zu bewahren. Es nutzt IC‑LoRA-Conditioning, bereitgestellt von den LTXVideo-Knoten GitHub.
• Video Outpaint Vorprozessor. Der VACE-Stil-Outpaint-Knoten berechnet die neue Leinwand, Maske und Steuerrahmen, die von LTX 2.3 Outpainting zur Steuerung der Synthese in den erweiterten Bereichen verwendet werden GitHub.

Verwendung des Comfyui LTX 2.3 Outpainting-Workflows#

Der Workflow besteht aus fünf koordinierten Gruppen. VACE OUTPAINT schlägt die neue Leinwand und Maske vor, LTX 2.3 Preprocess bereitet Eingaben vor, SAMPLING synthetisiert Video und Audio, und die Ausgabestufe kodiert das endgültige MP4. PROMPTING und MODELS laufen parallel, um Text-Conditioning und Gewichte bereitzustellen.

MODELS#

Diese Gruppe lädt das LTX‑2.3-Basis-Checkpoint und wendet das LTX 2.3 Outpainting IC‑LoRA an, damit das Modell lernt, wo neue Inhalte hinzugefügt werden sollen. Die Video- und Audio-VAEs werden initialisiert, um Rahmen und Wellenformen zu dekodieren. Der Modellzustand wird an den Guider und Sampler weitergegeben, sodass dieselben Gewichte sowohl das Conditioning als auch das Denoising steuern. Sie müssen hier nichts ändern, es sei denn, Sie möchten das Basis-Checkpoint oder ein anderes IC‑LoRA austauschen.

PROMPTING#

Positive und negative Aufforderungen werden von einem Dual-Encoder-Setup kodiert, das Gemma 3 12B mit der LTX 2.3 Textprojektion kombiniert. Schreiben Sie, was Sie in den hinzugefügten Rändern sehen möchten, zusammen mit Bewegungshinweisen und Lichtausrichtung, um den outgepainteten Inhalt auszurichten. Stil oder Inhalt, den Sie nicht möchten, geht in die negative Aufforderung. Die Encoder erzeugen Conditioning-Ströme, die später mit dem LTX 2.3 Outpainting-Guide zusammengeführt werden.

VACE OUTPAINT#

Laden Sie ein Quellvideo in den Loader, um Bilder pro Frame zu generieren. Der VACEOutpaint (#5109) Knoten berechnet eine erweiterte Leinwand und eine präzise Maske, die den neuen Generierungsbereich markiert. Der Graph komponiert die Originalrahmen in diese größere Leinwand mit ImageCompositeMasked (#5110), was zu Kontrollrahmen führt, die „behalten“ versus „synthesizieren“ Bereiche deutlich zeigen. Ein Vorschau-Zweig fügt diese Kontrollrahmen zu einem leichten MP4 zusammen, sodass Sie die Outpaint-Geometrie bestätigen können, bevor Sie generieren. Breite, Höhe und Sequenzlänge aus dieser Phase steuern das nachgelagerte latente Setup, sodass das Modell in der exakt erweiterten Größe arbeitet.

LTX 2.3 Preprocess#

Die zusammengesetzten Rahmen werden für LTX‑2.3 mit LTXVPreprocess (#3336) normalisiert. Wenn Sie Bild-zu-Video-Verankerung möchten, setzen Sie bypass_i2v auf false, sodass LTXVImgToVideoConditionOnly (#3159) die Bewegung auf die Kontrollrahmen konditioniert; für reines Text-zu-Video-Outpainting setzen Sie es auf true. LTXVConditioning (#1241) fügt Aufforderungs-Conditioning hinzu und übernimmt die Bildrate vom Video-Loader, um Audio und Video synchron zu halten. Diese Signale fließen in LTXAddVideoICLoRAGuide, um zu informieren, wo und wie LTX 2.3 Outpainting die maskierten Bereiche füllen soll.

SAMPLING#

LTXAddVideoICLoRAGuide (#5012) fusioniert Aufforderung, optionales Bild-Conditioning, das outgepaintete Kontrollbild und die IC‑LoRA in ein einziges Leitpaket. Ein leerer Audio-Latent mit der korrekten Bildanzahl wird angehängt, sodass Audio synchron mit dem Video generiert wird. Der Sampler verwendet CFGGuider (#4828) mit einem Denoiser, der von KSamplerSelect ausgewählt wird, und einem kurzen ManualSigmas-Zeitplan, um Aufforderungsadhärenz und zeitliche Glätte auszugleichen. SamplerCustomAdvanced (#4829) erzeugt ein gemeinsames Audio-Video-Latent, das dann zum Dekodieren aufgeteilt wird.

Dekodieren und exportieren#

VAEDecodeTiled (#4851) dekodiert Videorahmen effizient in der erweiterten Auflösung, und LTXVAudioVAEDecode (#4848) rekonstruiert die Wellenform. VHS_VideoCombine (#5137) verbindet Rahmen und Audio in einem MP4 und schreibt es in Ihren Ausgabeordner mit der geerbten Bildrate. Ein separater Vorschau-Zweig fügt das VACE-Steuerungsvideo für schnelle Iterationen vor endgültigen Durchläufen zusammen.

Schlüssel-Knoten im Comfyui LTX 2.3 Outpainting-Workflow#

VACEOutpaint (#5109)#

Berechnet die Zielleinwand und eine binäre oder weiche Maske, die Outpaint-Bereiche markiert. Erweitern Sie links oder rechts für Breitbild-Neurahmungen oder oben und unten für vertikale Konvertierungen, dann bestätigen Sie im Vorschau-Video. Halten Sie das Wachstum moderat für den ersten Durchgang, iterieren Sie, wenn Sie mehr Spielraum benötigen. Schwarze oder klar maskierte Bereiche funktionieren am besten, da LTX 2.3 Outpainting darauf trainiert ist, sie als Generierungszonen zu behandeln.

LTXAddVideoICLoRAGuide (#5012)#

Zentral für LTX 2.3 Outpainting, injiziert dieser Knoten die IC‑LoRA und verwendet die zusammengesetzten Kontrollrahmen, um die Generierung nur in maskierte Bereiche zu lenken. Erhöhen Sie die LoRA-Stärke, um ein stärkeres räumliches Erweiterungsverhalten zu erzwingen, verringern Sie sie, wenn das Modell beginnt, Originalinhalte zu überschreiben. Der latente Abwärtsmaßstabsfaktor stammt vom Loader und sollte unverändert bleiben, es sei denn, Sie balancieren Geschwindigkeit gegen Detail aus.

CFGGuider (#4828)#

Steuert, wie genau das Modell Ihren Aufforderungen im Vergleich zur Eingabe-Conditioning folgt. Erhöhen Sie die Leitung, um die Adhärenz in neu hinzugefügten Rändern zu schärfen, verringern Sie sie, wenn die Bewegung instabil wird. Betrachten Sie kleinere Änderungen zusammen mit dem Sigma-Zeitplan anstelle großer Sprünge.

SamplerCustomAdvanced (#4829) mit KSamplerSelect und ManualSigmas (#5025)#

Definiert den Entrauschungspfad. Die gewählte Euler Ancestral CFG++-Variante bietet scharfe Details mit flüssiger Bewegung für LTX‑2.3. Eine kurze manuelle Sigma-Leiter hilft, die Struktur vom Originalrahmen zu bewahren, während sich die outgepainteten Zonen kohärent entwickeln.

VAEDecodeTiled (#4851)#

Dekodiert hochauflösende Rahmen in Kacheln, um VRAM zu verwalten. Wenn Sie Nahtartefakte sehen, passen Sie die Kachelgröße oder Überlappung leicht an und führen Sie erneut aus. Dieser Knoten dient ausschließlich der Effizienz und ändert nicht das kreative Ergebnis.

VHS_VideoCombine (#5137)#

Verbindet Video-Rahmen und die generierte Tonspur mit der geerbten Bildrate. Wenn Sie stattdessen den Quellton bevorzugen, leiten Sie diesen Ton in den Kombinierer und deaktivieren Sie die generierte Spur.

Optionale Extras#

• Tipps zum Auffordern für LTX 2.3 Outpainting: Beschreiben Sie den Inhalt, der speziell in den neuen Rändern erscheinen soll, fügen Sie Bewegungsverben, Kamerarichtung und Lichtanweisungen hinzu. Halten Sie negative Aufforderungen kurz und konzentrieren Sie sich auf visuelle Artefakte, die Sie unterdrücken möchten.
• Outpaint-Geometrie: Beginnen Sie mit kleinen Seitenpolstern für einen natürlichen Look, dann iterieren Sie in Richtung des endgültigen Seitenverhältnisses. Weiche Masken fügen sich besser ein als harte Kanten, wenn Himmel, Wasser oder Laub erweitert werden.
• Text-zu-Video vs Bild-zu-Video: Setzen Sie bypass_i2v auf true für textgesteuertes LTX 2.3 Outpainting, false, wenn Sie möchten, dass der Originalrahmen Stil und Layout verankert.
• Referenzen und Quellen: LTX‑2.3-Gewichte und ComfyUI-Integration GitHub und Hugging Face; VACE-Stil-Outpaint-Vorprozessor GitHub.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken @CG Pixel, dem Ersteller des LTX 2.3 Outpainting-Workflows, herzlich für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.

Ressourcen#

• LTX 2.3/Outpainting Workflow Quelle
  • Docs / Release Notes: YouTube @CG Pixel

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Wartungspersonen bereitgestellt werden.