LTX 2.3 Outpainting pour ComfyUI : Expansion de cadre vidéo fluide avec cohérence temporelle#
Ce flux de travail implémente LTX 2.3 Outpainting pour étendre les cadres vidéo au-delà de leurs limites d'origine tout en préservant le mouvement, l'éclairage et la perspective. Il est conçu pour les éditeurs et créateurs ayant besoin de changements de ratio d'aspect, d'extensions latérales ou verticales, et de recadrage cinématographique sans rompre la continuité. En utilisant le guidage IC‑LoRA, LTX 2.3 Outpainting remplit les régions masquées de la toile de manière cohérente dans le temps et peut également générer de l'audio synchronisé.
Construit autour du modèle LTX‑2.3 de Lightricks et de son intégration dans ComfyUI, le graphe couple un préprocesseur de peinture intelligente avec un conditionnement IC‑LoRA pour orienter la génération dans les zones nouvellement ajoutées. Vous pouvez exécuter des variantes de texte à vidéo ou d'image à vidéo, prévisualiser les cadres de contrôle et exporter un MP4 final avec audio.
Modèles clés dans le flux de travail LTX 2.3 Outpainting de Comfyui#
- Point de contrôle LTX‑2.3 22B. Modèle de diffusion audio‑vidéo principal qui pilote la qualité de génération et la stabilité temporelle. Utilisez les poids officiels LTX‑2.3 tels que ltx‑2.3‑22b‑dev ou ltx‑2.3‑22b‑distilled‑1.1 pour des exécutions plus rapides Hugging Face page et les détails du modèle en amont dans le dépôt LTX‑Video GitHub et l'article arXiv.
- Gemma 3 12B Instruct text encoder avec projection de texte LTX 2.3. Encode les invites avec une forte adhérence, alimentant LTX‑2.3 à travers la configuration à double encodeur de ComfyUI. Voir la carte de l'encodeur Hugging Face et le support ComfyUI GitHub.
- VAE vidéo LTX‑2.3 et VAE audio. Cartographient entre l'espace pixel ou l'espace d'onde et l'espace latent du modèle pour décoder les cadres finaux et l'audio. Distribués dans le package ComfyUI‑LTXVideo GitHub.
- LTX 2.3 Outpainting IC‑LoRA. Une LoRA d'expansion spatiale qui conditionne LTX‑2.3 pour traiter les régions masquées ou noires comme des zones de génération, préservant la continuité de la scène dans le temps. Elle utilise le conditionnement IC‑LoRA fourni par les nœuds LTXVideo GitHub.
- Préprocesseur de peinture vidéo. Le nœud de peinture de style VACE calcule la nouvelle toile, le masque et les cadres de contrôle utilisés par LTX 2.3 Outpainting pour guider la synthèse dans les régions étendues GitHub.
Comment utiliser le flux de travail LTX 2.3 Outpainting dans Comfyui#
Le flux de travail a cinq groupes coordonnés. VACE OUTPAINT propose la nouvelle toile et le masque, LTX 2.3 Preprocess prépare les entrées, SAMPLING synthétise la vidéo et l'audio, et l'étape de sortie encode le MP4 final. PROMPTING et MODELS fonctionnent en parallèle pour fournir le conditionnement de texte et les poids.
MODELS#
Ce groupe charge le point de contrôle de base LTX‑2.3 et applique LTX 2.3 Outpainting IC‑LoRA afin que le modèle apprenne où ajouter du nouveau contenu. Les VAE vidéo et audio sont initialisés pour décoder les cadres et les formes d'onde. L'état du modèle est transmis en aval au guide et à l'échantillonneur afin que les mêmes poids pilotent à la fois le conditionnement et le débruitage. Vous n'avez pas besoin de changer quoi que ce soit ici à moins que vous ne souhaitiez échanger le point de contrôle de base ou un IC‑LoRA différent.
PROMPTING#
Les invites positives et négatives sont encodées par une configuration à double encodeur, associant Gemma 3 12B à la projection de texte LTX 2.3. Écrivez ce que vous voulez voir dans les marges ajoutées avec des indices de mouvement et de direction d'éclairage pour aligner le contenu peint. Le style ou le contenu que vous ne voulez pas va dans l'invite négative. Les encodeurs produisent des flux de conditionnement qui sont ensuite fusionnés avec le guide LTX 2.3 Outpainting.
VACE OUTPAINT#
Déposez une vidéo source dans le chargeur pour générer des images par cadre. Le nœud VACEOutpaint (#5109) calcule une toile élargie et un masque précis qui marque la nouvelle zone de génération. Le graphe compose les cadres originaux dans cette plus grande toile avec ImageCompositeMasked (#5110), résultant en des cadres de contrôle qui montrent clairement les régions "à conserver" contre "à synthétiser". Une branche de prévisualisation assemble ces cadres de contrôle en un MP4 léger pour que vous puissiez confirmer la géométrie de peinture avant de générer. La largeur, la hauteur et la longueur de la séquence de cette étape pilotent la configuration latente en aval, de sorte que le modèle fonctionne à la taille exacte élargie.
LTX 2.3 Preprocess#
Les cadres composites sont normalisés pour LTX‑2.3 avec LTXVPreprocess (#3336). Si vous souhaitez une ancre d'image à vidéo, réglez bypass_i2v sur false pour que LTXVImgToVideoConditionOnly (#3159) conditionne le mouvement sur les cadres de contrôle; pour un outpainting pur de texte à vidéo, réglez-le sur true. LTXVConditioning (#1241) attache le conditionnement de l'invite et hérite du taux de trame du chargeur vidéo, gardant l'audio et la vidéo synchronisés. Ces signaux s'écoulent dans LTXAddVideoICLoRAGuide pour informer où et comment LTX 2.3 Outpainting devrait remplir les zones masquées.
SAMPLING#
LTXAddVideoICLoRAGuide (#5012) fusionne l'invite, le conditionnement optionnel de l'image, l'image de contrôle peinte et l'IC‑LoRA en un seul paquet de guidage. Un latent audio vide avec le nombre de trames correct est concaténé pour que l'audio soit généré en synchronisation avec la vidéo. L'échantillonneur utilise CFGGuider (#4828) avec un débruiteur sélectionné par KSamplerSelect et un court programme ManualSigmas pour équilibrer l'adhérence à l'invite et la douceur temporelle. SamplerCustomAdvanced (#4829) produit un latent audio‑vidéo conjoint qui est ensuite séparé pour le décodage.
Décodage et exportation#
VAEDecodeTiled (#4851) décode les cadres vidéo efficacement à la résolution élargie, et LTXVAudioVAEDecode (#4848) reconstruit la forme d'onde. VHS_VideoCombine (#5137) multiplexe les cadres et l'audio généré dans un MP4 et l'écrit dans votre dossier de sortie au taux de trame hérité. Une branche de prévisualisation séparée assemble la vidéo de contrôle VACE pour une itération rapide avant les exécutions finales.
Nœuds clés dans le flux de travail LTX 2.3 Outpainting de Comfyui#
VACEOutpaint (#5109)#
Calcule la toile cible et un masque binaire ou estompé qui marque les régions de peinture. Étendez à gauche ou à droite pour des recadrages en écran large ou en haut et en bas pour des conversions verticales, puis confirmez dans la vidéo de prévisualisation. Gardez la croissance modérée pour le premier passage, itérez si vous avez besoin de plus d'espace. Les régions noires ou clairement masquées fonctionnent mieux car LTX 2.3 Outpainting est entraîné à les traiter comme des zones de génération.
LTXAddVideoICLoRAGuide (#5012)#
Central pour LTX 2.3 Outpainting, ce nœud injecte l'IC‑LoRA et utilise les cadres de contrôle composites pour biaiser la génération dans les zones masquées uniquement. Augmentez la force de LoRA pour renforcer le comportement d'expansion spatiale, réduisez-la si le modèle commence à écraser le contenu original. Le facteur d'échelle latente provient du chargeur et doit être laissé tel quel, sauf si vous équilibrez la vitesse contre le détail.
CFGGuider (#4828)#
Contrôle la façon dont le modèle suit vos invites par rapport au conditionnement d'entrée. Augmentez le guidage pour affiner l'adhérence dans les marges nouvellement ajoutées, diminuez-le si le mouvement devient instable. Envisagez des changements mineurs avec le programme sigma plutôt que de grands sauts.
SamplerCustomAdvanced (#4829) avec KSamplerSelect et ManualSigmas (#5025)#
Définit le chemin de débruitage. La variante CFG++ ancestrale d'Euler choisie fournit des détails nets avec un mouvement fluide pour LTX‑2.3. Une courte échelle sigma manuelle aide à préserver la structure du cadre original tout en permettant aux zones peintes d'évoluer de manière cohérente.
VAEDecodeTiled (#4851)#
Décode les cadres haute résolution en tuiles pour gérer la VRAM. Si vous voyez des artefacts de couture, ajustez légèrement la taille des tuiles ou le chevauchement et relancez. Ce nœud est purement pour l'efficacité et ne change pas le résultat créatif.
VHS_VideoCombine (#5137)#
Multiplexe les cadres vidéo et la piste audio générée au taux de trame hérité. Si vous préférez l'audio source à la place, dirigez cet audio dans le combineur et désactivez la piste générée.
Extras optionnels#
- Conseils d'invite pour LTX 2.3 Outpainting : décrivez le contenu qui devrait apparaître spécifiquement dans les nouvelles marges, ajoutez des verbes de mouvement, des directions de caméra et des indices d'éclairage. Gardez les invites négatives courtes et centrées sur les artefacts visuels que vous souhaitez supprimer.
- Géométrie de peinture : commencez avec de petits coussinets latéraux pour un look naturel, puis itérez vers le ratio d'aspect final. Les masques estompés se fondent mieux que les bords durs lors de l'extension des ciels, de l'eau ou du feuillage.
- Texte à vidéo vs image à vidéo : réglez
bypass_i2vsurtruepour LTX 2.3 Outpainting piloté par texte,falselorsque vous souhaitez que le cadre original ancre le style et la mise en page. - Références et sources : poids LTX‑2.3 et intégration ComfyUI GitHub et Hugging Face; préprocesseur de peinture de style VACE GitHub.
Remerciements#
Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement @CG Pixel, le créateur de LTX 2.3 pour le flux de travail Outpainting pour ses contributions et sa maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources#
- Source du flux de travail LTX 2.3/Outpainting
- Docs / Notes de version : YouTube @CG Pixel
Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.