LTX 2.3 IC-LoRA Camera Control pour ComfyUI#
LTX 2.3 IC-LoRA Camera Control est un flux de travail de mouvement de caméra basé sur la référence pour LTX-Video 2.3 dans ComfyUI. Donnez-lui une courte vidéo de référence et une invite créative, et il transférera la trajectoire de la caméra de la référence à une scène nouvellement générée, préservant la composition du sujet et la cohérence temporelle tandis que vous vous concentrez sur le contenu, l'éclairage et l'ambiance.
Conçu pour les cinéastes, artistes VFX et créateurs IA, ce flux de travail ComfyUI reproduit les panoramiques, inclinaisons, travellings, zooms et mouvements orbitaux avec une force de mouvement ajustable. Il associe la génération audio-vidéo unifiée de LTX-2.3 avec un In-Context LoRA adapté pour le contrôle de la caméra, vous offrant un mouvement fluide, un cadrage cohérent et un audio synchronisé en une seule passe.
Modèles clés dans le flux de travail Comfyui LTX 2.3 IC-LoRA Camera Control#
- Lightricks LTX-2.3. Un transformateur de diffusion qui génère conjointement vidéo et audio, fournissant une forte cohérence temporelle et un son synchronisé en une seule passe avant. C'est le générateur principal dans ce flux de travail et la cible pour l'orientation IC-LoRA. Model card
- LTX-Video VAE. Le VAE vidéo spatiotemporel utilisé par LTX compresse les images en un espace latent compact pour un débruitage efficace, puis décode des images de haute qualité à la fin de l'échantillonnage. Voir le contexte de l'architecture dans les rapports techniques pour LTX-Video et LTX-2.
- Encodeur de texte ajusté par instruction Gemma. Un encodeur de texte Gemma ajusté par instruction convertit vos invites en vecteurs de conditionnement que le générateur peut suivre, permettant des descriptions de prises de vue détaillées et un contrôle du style.
- LTX 2.3 IC-LoRA pour le Contrôle de Caméra. Un adaptateur In-Context LoRA spécialisé qui extrait des indices de mouvement de caméra de la vidéo de référence et les injecte dans LTX-2.3, alignant la caméra virtuelle de la nouvelle scène avec le chemin de référence.
Comment utiliser le flux de travail Comfyui LTX 2.3 IC-LoRA Camera Control#
Ce flux de travail est organisé en groupes qui préparent votre référence, construisent le conditionnement et exécutent l'échantillonnage avant de muxer l'audio et la vidéo. L'IC-LoRA extrait le mouvement de la caméra de la référence tandis que votre invite définit ce qui apparaît à l'écran.
Paramètre Vidéo d'Entrée#
Utilisez les entrées de ce groupe pour définir les images par seconde, la durée du clip et la dimension du côté le plus long ciblé. Ces trois valeurs déterminent le budget d'images et la résolution de travail pour l'ensemble de l'exécution. Garder les FPS et la durée alignés sur votre référence aide l'IC-LoRA à reproduire le timing et la vitesse du mouvement original. Choisissez une dimension qui correspond à votre ratio d'aspect de livraison et à votre budget de performance. Si vous expérimentez, commencez modestement et augmentez une fois que le mouvement semble correct.
Préparer la Vidéo de Référence#
Chargez votre référence de caméra avec VHS_LoadVideo (#5983). Le pipeline redimensionne et normalise les images pour le modèle, puis les analyse pour calculer les tailles et les comptes, assurant des dimensions qui fonctionnent bien avec LTX-2.3. Les prises fluides et en une seule prise sans coupures fonctionnent le mieux pour le contrôle de caméra LTX 2.3 IC-LoRA, puisque l'adaptateur apprend le chemin de la caméra plutôt que les montages de l'histoire. Les panoramiques, inclinaisons, travellings, zooms et orbites sont tous pris en charge ; évitez les clips tremblants ou les changements de scène rapides. Si votre référence est plus longue que votre cible, réduisez-la au segment le plus représentatif.
Prétraitement#
Le flux de travail crée un latent vidéo vide aligné sur votre résolution et durée choisies, puis ancre éventuellement l'apparence à partir d'une image fixe en utilisant LTXVImgToVideoConditionOnly (#5904). Fournir une image fixe sur le style peut améliorer la cohérence du sujet et de la palette tout en laissant le mouvement à l'IC-LoRA. Cette étape calcule également des dimensions sûres et conviviales pour le modèle et garantit que la chronologie latente correspond au rythme de la référence. Le résultat est un point de départ propre prêt pour le contrôle de la caméra.
Conditionnement#
Écrivez votre description principale de la prise de vue dans l'invite positive et listez les artefacts indésirables dans l'invite négative. Les invites sont encodées et un conditionnement conscient du temps est assemblé dans LTXVConditioning (#164). Le contrôle de caméra LTX 2.3 IC-LoRA augmente ensuite ce conditionnement avec des tokens de mouvement de caméra extraits de la vidéo de référence. Concentrez votre texte sur le sujet, le décor, l'éclairage et la direction artistique ; laissez les mouvements de caméra à la référence pour que l'orientation ne soit pas en conflit. Vous pouvez itérer sur le ton et le style sans toucher à la référence à chaque fois.
Modèles#
Le flux de travail charge le modèle de base LTX-2.3, applique un patch d'attention convivial pour la performance et un découpage en avant pour les grandes résolutions, et injecte l'IC-LoRA avec LTXICLoRALoaderModelOnly (#5924). Cela maintient l'utilisation de la VRAM pratique tout en préservant la fidélité et la cohérence du mouvement. L'IC-LoRA expose également un facteur de mise à l'échelle latente que le graphe utilise pour équilibrer la vitesse et le détail. Considérez ce groupe comme la salle des machines à la volée de LTX 2.3 IC-LoRA Camera Control.
Échantillonnage#
SamplerCustom (#561) exécute le processus de débruitage en utilisant le sampler choisi dans KSamplerSelect (#154) et un programme sigma ajusté à la main. Pendant l'échantillonnage, LTXAddVideoICLoRAGuide (#5899) fusionne le conditionnement de l'invite, l'ancrage de l'apparence et le chemin de la caméra basé sur la référence dans le latent. Après la fin du débruitage, les latents vidéo et audio sont divisés et décodés, puis VHS_VideoCombine (#604) muxe les images et l'audio à votre cadence d'images choisie. Vous obtenez un MP4 prêt à être partagé qui contient à la fois le contenu que vous avez décrit et le mouvement de caméra que vous avez référencé. Si la caméra semble trop rigide ou trop lâche, ajustez la force du mouvement et ré-échantillonnez.
Audio Vide#
Un latent audio aligné est créé pour que LTX-2.3 puisse synthétiser le son en synchronisation avec la vidéo générée. Cela vous donne des pistes ambiantes, de type foley qui correspondent au timing des mouvements sans travail supplémentaire. Si vous prévoyez de mettre en musique le clip en post-production, vous pouvez ignorer l'audio généré et le couper ou le remplacer plus tard. Pour les tests de mouvement, laisser l'audio activé peut vous aider à juger du timing et de l'intensité.
Nœuds clés dans le flux de travail Comfyui LTX 2.3 IC-LoRA Camera Control#
VHS_LoadVideo (#5983)#
Charge le clip de référence qui fournit le mouvement de la caméra. Utilisez-le pour choisir le segment exact dont vous souhaitez transférer la trajectoire et pour aligner la cadence d'images effective avec votre cible. Les entrées courtes, stables et en une seule prise donnent le transfert de mouvement le plus prévisible. Si nécessaire, réduisez la référence ou réduisez le plafond d'images pour itérer plus rapidement.
LTXICLoRALoaderModelOnly (#5924)#
Injecte l'adaptateur LTX 2.3 IC-LoRA Camera Control dans le modèle de base et expose un facteur de mise à l'échelle latente que le graphe utilise pour l'efficacité. Augmentez sa force pour adhérer plus strictement au chemin de la caméra de référence ; réduisez-la lorsque vous souhaitez que l'invite assouplisse le mouvement. Gardez les versions du modèle et de l'adaptateur assorties pour de meilleurs résultats. Changer d'adaptateurs en milieu de projet changera la façon dont la caméra est interprétée.
LTXAddVideoICLoRAGuide (#5899)#
Attache la guidance IC-LoRA à la fois au conditionnement et au latent. Le contrôle clé ici est la force du mouvement, qui détermine dans quelle mesure la caméra générée suit fidèlement la référence. Augmentez-la pour des transferts exacts et des correspondances techniques, réduisez-la pour des réinterprétations créatives. Combinez avec une invite de sujet forte pour préserver la composition tout en permettant des micro-variations.
LTXVImgToVideoConditionOnly (#5904)#
Transforme une image fixe en guidance d'apparence uniquement sans imposer de mouvement, idéal pour verrouiller le personnage, la palette ou la direction artistique. Augmentez l'adhésion si le premier cadre dérive de votre image fixe, diminuez-la si le look est trop contraint. Ce nœud est optionnel ; omettez l'image fixe lorsque vous souhaitez que l'invite et l'IC-LoRA pilotent entièrement le look.
SamplerCustom (#561)#
Exécute le débruitage avec votre sampler choisi et la courbe sigma. Associez des samplers comme euler_ancestral_cfg_pp de KSamplerSelect (#154) avec le programme sigma fourni pour un détail équilibré et une stabilité temporelle. Si vous poussez la force du mouvement trop haut, envisagez des programmes plus doux pour éviter la surcorrection. Réinitialisez pour explorer des alternatives tout en gardant le même chemin de caméra.
VHS_VideoCombine (#604)#
Muxe les images et l'audio décodés en un MP4 pour un aperçu ou une livraison. Utilisez-le pour définir le format et la cadence d'images de sortie pour correspondre à votre pipeline. Pour les quotidiens, exportez avec une compression plus élevée ; pour la finition, augmentez la qualité pour préserver les hautes lumières et la cadence de mouvement. La sortie inclut des métadonnées afin que vous puissiez tracer les paramètres plus tard.
Extras optionnels#
- Pour des transferts propres dans LTX 2.3 IC-LoRA Camera Control, choisissez une référence avec un mouvement unique et continu, un mouvement minimal du sujet et aucune coupure.
- Associez la cadence d'images cible et la durée à votre référence pour un timing 1:1 ; divergez intentionnellement si vous voulez des rendus lents ou rapides.
- Gardez les invites concentrées sur le contenu et le style ; laissez l'IC-LoRA gérer le langage de la caméra pour éviter les signaux contradictoires.
- Si vous voyez des artefacts de bord, essayez une dimension du côté le plus long légèrement plus petite ou un sampler plus doux pour améliorer la stabilité.
- Explorez les ressources et exemples LTX pour approfondir votre compréhension du comportement et des contrôles du modèle : Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl.
Remerciements#
Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Innovate Futures @ Benji pour LTX 2.3 IC-LoRA Camera Control Workflow Source pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux référentiels liés ci-dessous.
Ressources#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA Camera Control Workflow Source
- Docs / Notes de Version: LTX 2.3 IC-LoRA Camera Control Workflow Source
Note : L'utilisation des modèles, jeux de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.