LTX 2.3 IC-LoRA Kamerasteuerung für ComfyUI#
LTX 2.3 IC-LoRA Kamerasteuerung ist ein referenzgesteuerter Kamera Bewegungs-Workflow für LTX-Video 2.3 in ComfyUI. Geben Sie ein kurzes Referenzvideo und eine kreative Eingabe und es wird die Kameratrajektorie von der Referenz auf eine neu generierte Szene übertragen, wobei die Komposition des Subjekts und die zeitliche Kohärenz erhalten bleiben, während Sie sich auf Inhalt, Beleuchtung und Stimmung konzentrieren.
Entwickelt für Filmemacher, VFX-Künstler und AI-Schöpfer, reproduziert dieser ComfyUI-Workflow Schwenks, Neigungen, Dollys, Zooms und Orbit-Bewegungen mit einstellbarer Bewegungsstärke. Er kombiniert die einheitliche Audio-Video-Generierung von LTX-2.3 mit einem In-Context LoRA, das auf die Kamerasteuerung abgestimmt ist, sodass Sie sanfte Bewegungen, konsistente Bildkompositionen und synchronisierten Sound in einem Durchgang erhalten.
Schlüsselmodelle im ComfyUI LTX 2.3 IC-LoRA Kamerasteuerungs-Workflow#
- Lightricks LTX-2.3. Ein Diffusionstransformator, der gemeinsam Video und Audio erzeugt und starke zeitliche Kohärenz und synchronisierten Sound in einem Vorwärtsschritt bietet. Es ist der Hauptgenerator in diesem Workflow und das Ziel für IC-LoRA Führung. Model card
- LTX-Video VAE. Das spatiotemporale Video VAE, das von LTX verwendet wird, komprimiert Frames in einen kompakten latenten Raum für effizientes Rauschen und dekodiert am Ende der Abtastung hochqualitative Frames. Siehe den architektonischen Hintergrund in den technischen Berichten zu LTX-Video und LTX-2.
- Gemma-Anleitung-angepasster Text-Encoder. Ein anleitung-angepasster Gemma-Text-Encoder konvertiert Ihre Eingaben in Konditionierungsvektoren, denen der Generator folgen kann, und ermöglicht detaillierte Aufnahmedeskriptionen und Stilkontrolle.
- LTX 2.3 IC-LoRA für Kamerasteuerung. Ein spezialisierter In-Context LoRA-Adapter, der Kamerabewegungshinweise aus dem Referenzvideo extrahiert und sie in LTX-2.3 injiziert, um die virtuelle Kamera der neuen Szene mit dem Referenzpfad auszurichten.
Wie man den ComfyUI LTX 2.3 IC-LoRA Kamerasteuerungs-Workflow verwendet#
Dieser Workflow ist in Gruppen organisiert, die Ihre Referenz vorbereiten, Konditionierung aufbauen und Abtastungen durchführen, bevor Audio und Video gemultiplext werden. Der IC-LoRA extrahiert Kamerabewegungen aus der Referenz, während Ihre Eingabe definiert, was auf dem Bildschirm erscheint.
Eingabe Videoeinstellung#
Verwenden Sie die Eingaben in dieser Gruppe, um Frames pro Sekunde, Clip-Dauer und die Ziel-Längsseite zu setzen. Diese drei Werte bestimmen das Frame-Budget und die Arbeitsauflösung für den gesamten Durchlauf. Die FPS und Dauer an Ihre Referenz anzupassen hilft dem IC-LoRA, das Timing und die Geschwindigkeit der ursprünglichen Bewegung zu reproduzieren. Wählen Sie eine Dimension, die zu Ihrem Auslieferungs-Seitenverhältnis und Leistungsbudget passt. Wenn Sie experimentieren, beginnen Sie bescheiden und skalieren Sie auf, sobald die Bewegung richtig aussieht.
Referenzvideo vorbereiten#
Laden Sie Ihre Kamera-Referenz mit VHS_LoadVideo (#5983). Die Pipeline skaliert und normalisiert die Frames für das Modell und analysiert sie dann, um Größen und Zählungen zu berechnen und Dimensionen zu sichern, die gut mit LTX-2.3 funktionieren. Sanfte, ungeschnittene Aufnahmen aus einer Einstellung funktionieren am besten für LTX 2.3 IC-LoRA Kamerasteuerung, da der Adapter den Kamerapfad anstelle von Story-Edits lernt. Schwenks, Neigungen, Dollys, Zooms und Orbits werden alle unterstützt; vermeiden Sie wackelige Clips oder schnelle Szenenwechsel. Wenn Ihre Referenz länger ist als Ihr Ziel, trimmen Sie sie auf das repräsentativste Segment.
Vorverarbeitung#
Der Workflow erstellt ein leeres Videolatent, das auf Ihre gewählte Auflösung und Dauer abgestimmt ist, und verankert dann optional das Erscheinungsbild aus einem Standbild mit LTXVImgToVideoConditionOnly (#5904). Das Bereitstellen eines stilvollen Standbilds kann die Konsistenz des Subjekts und der Palette verbessern, während die Bewegung dem IC-LoRA überlassen wird. Diese Stufe berechnet auch sichere, modellfreundliche Dimensionen und stellt sicher, dass die latente Zeitleiste mit dem Tempo der Referenz übereinstimmt. Das Ergebnis ist ein sauberer Ausgangspunkt, der für die Kamerasteuerung vorbereitet ist.
Konditionierung#
Schreiben Sie Ihre Hauptaufnahmebeschreibung in den positiven Eingabeaufforderungen und listen Sie unerwünschte Artefakte in den negativen Eingabeaufforderungen auf. Die Eingabeaufforderungen werden kodiert und zeitbewusste Konditionierung wird in LTXVConditioning (#164) zusammengestellt. Die LTX 2.3 IC-LoRA Kamerasteuerung ergänzt dann diese Konditionierung mit Kamerabewegungs-Token, die aus dem Referenzvideo extrahiert wurden. Konzentrieren Sie Ihren Text auf Subjekt, Umgebung, Beleuchtung und Kunstleitung; überlassen Sie die Kamerabewegungen der Referenz, damit die Führung nicht in Konflikt gerät. Sie können Ton und Stil iterieren, ohne jedes Mal die Referenz zu berühren.
Modelle#
Der Workflow lädt das LTX-2.3-Basismodell, wendet einen leistungsfreundlichen Aufmerksamkeitspatch und Feed-Forward-Chunking für große Auflösungen an und injiziert das IC-LoRA mit LTXICLoRALoaderModelOnly (#5924). Dies hält die VRAM-Nutzung praktikabel, während die Treue und Bewegungskohärenz erhalten bleiben. Der IC-LoRA bietet auch einen latenten Downscale-Faktor, den der Graph verwendet, um Geschwindigkeit und Detail auszubalancieren. Denken Sie an diese Gruppe als den Laufzeitmaschinenraum der LTX 2.3 IC-LoRA Kamerasteuerung.
Abtastung#
SamplerCustom (#561) führt den Rauschprozess mit dem in KSamplerSelect (#154) ausgewählten Sampler und einem handgefertigten Sigma-Zeitplan aus. Während der Abtastung fusioniert LTXAddVideoICLoRAGuide (#5899) die Eingabeaufforderungskonditionierung, das Erscheinungsbildanker und den referenzgesteuerten Kamerapfad in das Latent. Nach Abschluss der Rauschunterdrückung werden Video- und Audio-Latents gespalten und dekodiert, dann werden VHS_VideoCombine (#604) Bilder und Audio bei Ihrer gewählten Bildrate gemultiplext. Sie erhalten ein gebrauchsfertiges MP4, das sowohl den von Ihnen beschriebenen Inhalt als auch die von Ihnen referenzierte Kamerabewegung trägt. Wenn sich die Kamera zu steif oder zu locker anfühlt, passen Sie die Bewegungsstärke an und nehmen Sie eine neue Probe.
Leerer Audio#
Ein ausgerichtetes Audio-Latent wird erstellt, damit LTX-2.3 Sound synchron mit dem generierten Video synthetisieren kann. Dies gibt Ihnen Umgebungs-, Foley-ähnliche Tracks, die das Bewegungstiming ohne zusätzliche Arbeit passen. Wenn Sie planen, den Clip nachträglich zu vertonen, können Sie das generierte Audio ignorieren und es später stumm schalten oder ersetzen. Für Bewegungstests kann das Einschalten des Audios Ihnen helfen, das Timing und die Intensität zu beurteilen.
Schlüsselnoten im ComfyUI LTX 2.3 IC-LoRA Kamerasteuerungs-Workflow#
VHS_LoadVideo (#5983)#
Lädt den Referenzclip, der die Kamerabewegung liefert. Verwenden Sie es, um das genaue Segment auszuwählen, dessen Trajektorie Sie übertragen möchten, und um die effektive Bildrate mit Ihrem Ziel abzustimmen. Kurze, stabile, einzelne Aufnahmen geben den vorhersehbarsten Bewegungstransfer. Wenn nötig, trimmen Sie die Referenz oder reduzieren Sie die Frame-Obergrenze, um schneller zu iterieren.
LTXICLoRALoaderModelOnly (#5924)#
Injiziert den LTX 2.3 IC-LoRA Kamerasteuerungs-Adapter in das Basismodell und bietet einen latenten Downscale-Faktor, den der Graph für Effizienz verwendet. Erhöhen Sie seine Stärke, um sich strenger an den Referenzkamerapfad zu halten; senken Sie ihn, wenn Sie möchten, dass die Eingabeaufforderung die Bewegung lockert. Halten Sie Modell- und Adapterversionen für beste Ergebnisse übereinstimmend. Das Wechseln von Adaptern während des Projekts ändert, wie die Kamera interpretiert wird.
LTXAddVideoICLoRAGuide (#5899)#
Fügt die IC-LoRA Führung sowohl der Konditionierung als auch dem Latent hinzu. Die Schlüsselsteuerung hier ist die Bewegungsstärke, die bestimmt, wie genau die generierte Kamera der Referenz folgt. Erhöhen Sie sie für exakte Übertragungen und technische Übereinstimmungen, senken Sie sie für kreative Neuinterpretationen. Kombinieren Sie mit einer starken Subjekteingabeaufforderung, um die Komposition zu bewahren und gleichzeitig Mikro-Variationen zuzulassen.
LTXVImgToVideoConditionOnly (#5904)#
Verwandelt ein Standbild in eine rein Erscheinungsbild-orientierte Führung ohne Bewegungszwang, ideal um Charakter, Palette oder Kunstleitung zu fixieren. Erhöhen Sie die Adhärenz, wenn der erste Frame von Ihrem Standbild abweicht, verringern Sie sie, wenn das Aussehen übermäßig eingeschränkt wird. Dieser Knoten ist optional; lassen Sie das Standbild weg, wenn Sie möchten, dass die Eingabeaufforderung und IC-LoRA das Aussehen vollständig steuern.
SamplerCustom (#561)#
Führt Rauschunterdrückung mit Ihrem gewählten Sampler und Sigma-Kurve durch. Kombinieren Sie Sampler wie euler_ancestral_cfg_pp aus KSamplerSelect (#154) mit dem bereitgestellten Sigma-Zeitplan für ausgewogene Details und zeitliche Stabilität. Wenn Sie die Bewegungsstärke hoch einstellen, erwägen Sie sanftere Zeitpläne, um Überkorrekturen zu vermeiden. Erneut säen, um Alternativen zu erkunden, während Sie denselben Kamerapfad beibehalten.
VHS_VideoCombine (#604)#
Multiplexiert dekodierte Frames und Audio zu einem MP4 für Vorschau oder Lieferung. Verwenden Sie es, um Format und Ausgabebildrate an Ihre Pipeline anzupassen. Für Dailies, exportieren Sie mit höherer Kompression; für die Fertigstellung, erhöhen Sie die Qualität, um Highlights und Bewegungskadenz zu erhalten. Die Ausgabe enthält Metadaten, sodass Sie die Einstellungen später nachverfolgen können.
Optionale Extras#
- Für saubere Übertragungen in der LTX 2.3 IC-LoRA Kamerasteuerung wählen Sie eine Referenz mit einer einzigen, kontinuierlichen Bewegung, minimaler Subjektbewegung und keinen Schnitten.
- Stimmen Sie Ziel-FPS und -Dauer mit Ihrer Referenz für 1:1-Timing ab; weichen Sie absichtlich ab, wenn Sie langsame oder schnelle Wiedergaben möchten.
- Halten Sie die Eingabeaufforderungen auf Inhalt und Stil fokussiert; lassen Sie das IC-LoRA die Kamerasprache handhaben, um widersprüchliche Signale zu vermeiden.
- Wenn Sie Kantenartefakte sehen, versuchen Sie eine etwas kleinere Längsseite oder einen milderen Sampler, um die Stabilität zu verbessern.
- Erkunden Sie LTX-Ressourcen und Beispiele, um Ihr Verständnis des Modellverhaltens und der Steuerungen zu vertiefen: Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl.
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Innovate Futures @ Benji für die LTX 2.3 IC-LoRA Kamerasteuerungs-Workflow-Quelle für ihre Beiträge und Wartung. Für autoritative Details, konsultieren Sie bitte die originalen Dokumentationen und Repositories, die unten verlinkt sind.
Ressourcen#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA Kamerasteuerungs-Workflow-Quelle
- Docs / Release Notes: LTX 2.3 IC-LoRA Kamerasteuerungs-Workflow-Quelle
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Verwalter.
