LTX 2.3 Inpaint | Édition vidéo précise LoRA

Workflow vidéo LTX 2.3 Inpaint pour des éditions précises guidées par masque

Ce workflow ComfyUI apporte l'édition vidéo ciblée à LTX‑2.3 en associant le modèle de base avec le LTX 2.3 Inpaint LoRA. Vous définissez un masque sur la région à changer, puis le pipeline régénère uniquement cette zone tout en préservant le mouvement, l'identité, l'éclairage et la cohérence temporelle dans le reste de la scène. Il est idéal pour supprimer des artefacts, remplacer des objets, affiner des détails ou insérer de nouveaux éléments sans re-rendre toute la séquence.

LTX 2.3 Inpaint est intégré de bout en bout : chargez une vidéo de référence, créez ou générez automatiquement des masques, guidez le modèle avec des cadres masqués, échantillonnez un premier passage, puis affinez avec un upscaler latent et un second passage d'inpaint optionnel. L'audio est pris en charge et peut être passé ou généré comme silence pour correspondre à la durée du clip édité.

Modèles clés dans le workflow ComfyUI LTX 2.3 Inpaint

• LTX‑2.3 22B Transformer Only (dev ou distillé). Le transformateur de diffusion vidéo principal qui synthétise des cadres temporellement cohérents à partir de texte et de guides. Utilisez la version distillée pour une inférence plus rapide en 8 étapes. Hugging Face: Lightricks/LTX‑2.3 et GitHub: LTX‑2
• LTX 2.3 Inpaint LoRA. Un LoRA d'édition ajusté pour LTX‑2.3 qui concentre la génération à l'intérieur de la région masquée afin que vous puissiez supprimer, remplacer ou affiner le contenu tout en gardant le mouvement d'arrière-plan stable. Hugging Face: Alissonerdx/LTX‑LoRAs
• Gemma 3 12B Instruct text encoder + projection de texte LTX‑2.3. Fournit des embeddings de texte alignés pour le transformateur LTX‑2.3 lors du conditionnement de l'invite. Des poids préemballés sont fournis pour une utilisation avec ComfyUI. Hugging Face: Comfy‑Org/ltx‑2 (fichiers divisés)
• LTX‑2.3 Video VAE et Audio VAE. Comprimez et décodez les latents vidéo et audio utilisés par les modules de transformateur et audio, permettant un échantillonnage efficace et une sortie synchronisée. Des binaires sélectionnés sont disponibles pour ComfyUI. Collection Hugging Face
• LTX‑2.3 Spatial Upscaler x2 et Temporal Upscaler x2. Upscalers latents optionnels qui améliorent les détails spatiaux et stabilisent les dynamiques temporelles lors d'un second passage sans changer le contenu. Hugging Face: Lightricks/LTX‑2.3
• Segment Anything 2 (SAM 2). Utilisé pour la génération automatique de masques guidée par points directement sur les cadres vidéo, accélérant la configuration de LTX 2.3 Inpaint. GitHub: facebookresearch/segment‑anything‑2

Comment utiliser le workflow ComfyUI LTX 2.3 Inpaint

Le workflow fonctionne en deux étapes coordonnées. D'abord, il crée un flux de contrôle masqué à partir de votre vidéo d'entrée et produit un premier passage édité. Ensuite, il affine la qualité avec un upscaling latent et, lorsque cela est activé, un passage d'inpaint masqué haute résolution.

Paramètres vidéo

Ce groupe calcule la longueur du clip et la cadence des cadres pour LTX 2.3 Inpaint. Définissez FPS et Durée (Secondes) pour définir le timing; le graphique calcule total_frames en conséquence. Le workflow vous permet également de choisir la dimension d'image la plus longue comme votre résolution cible, puis redimensionne les entrées de manière cohérente afin que les invites, les masques et les guides s'alignent.

Entrées

Chargez un court clip de référence avec VHS_LoadVideo et laissez le graphique pré-dimensionner les cadres à votre résolution choisie. Le pipeline enregistre une copie interne appelée input_video pour la création de masques et un control_video qui guidera LTX 2.3 Inpaint lors de l'échantillonnage. Vous pouvez prévisualiser le flux de contrôle à tout moment pour confirmer le cadrage et la cadence.

Segmentation

Choisissez comment construire les masques pour LTX 2.3 Inpaint. Utilisez Sam2Segmentation (#800) pour des masques automatiques basés sur des points ou pilotez-le avec le PointsEditor (#860) pour un contrôle précis. Traitez le résultat avec GrowMaskWithBlur pour ajouter une petite marge de sécurité et BlockifyMask pour réduire les bords bruyants; le workflow stocke la sortie nettoyée sous final_masks.

Prévisualisation de la vidéo de contrôle

Le graphique compose votre région masquée sur un cadre neutre afin que le modèle "voit" uniquement ce qui doit changer. ImageCompositeFromMaskBatch+ crée les cadres de guide masqués, et VHS_VideoCombine prévisualise la séquence à votre FPS cible. Ce flux de contrôle ciblé est la colonne vertébrale de LTX 2.3 Inpaint et aide à préserver le contenu non masqué.

Invite

Écrivez ce que vous voulez voir apparaître après édition et gardez les aspects inchangés explicites. Utilisez l'encodeur principal Manual Prompt (#389) pour les positifs et l'encodeur négatif inclus pour les suppressions de qualité comme le flou et les filigranes. Les bonnes invites LTX 2.3 Inpaint décrivent le nouvel objet, ses matériaux, son échelle et comment il doit s'insérer dans la composition et l'éclairage existants.

Générer en basse résolution

Le premier passage lie les invites et vos cadres de contrôle dans le guidage du modèle. LTXVAddGuideMulti (#440) attache le guide masqué au conditionnement, CFGGuider (#396) équilibre l'adhérence à votre texte, et SamplerCustomAdvanced (#382) exécute l'inférence avec l'échantillonneur et le planificateur sélectionnés. Le résultat est un clip édité temporellement cohérent qui respecte déjà votre masque LTX 2.3 Inpaint.

Upscale latent

Si vous voulez plus de détails sans changer le contenu, activez l'upsampler. LTXVLatentUpsampler (#818) applique l'upscaler spatial LTX dans l'espace latent et décode avec VAEDecodeTiled pour une reconstruction efficace en mémoire. Vous pouvez comparer avant et après avec les nœuds de combinaison intégrés côte à côte.

Générer en haute résolution

Pour une fidélité supérieure guidée par le premier passage, le workflow recadre et relie les guides avec LTXVAddGuideMulti (#877) et échantillonne avec SamplerCustomAdvanced (#816). Cette étape est toujours consciente du masque et gardera le mouvement de la scène stable tout en ajoutant des bords nets et de meilleures textures. C'est la méthode préférée pour finaliser les plans LTX 2.3 Inpaint lorsque le temps le permet.

Commutateur de masque

Un simple commutateur Segmentation automatique oriente soit des masques manuels soit automatiques dans le chemin d'inpaint. Utilisez automatique lorsque les cibles sont bien séparées de l'arrière-plan, et passez à des points manuels lorsque les bords sont complexes ou lorsque vous avez besoin d'un contrôle chirurgical sur le comportement de LTX 2.3 Inpaint. La sélection nettoyée est stockée sous final_masks pour réutilisation.

Deuxième passage d'inpaint masqué

Une branche d'inpaint haute résolution dédiée pousse encore plus loin le masquage. SetLatentNoiseMask (#1010) injecte du bruit uniquement là où le masque est actif afin que le modèle resample la région éditée tout en gelant tout le reste. Ce passage est idéal pour remplacer des étiquettes, corriger de minuscules artefacts ou échanger des accessoires avec un verrouillage de composition maximal.

Audio

Vous pouvez charger votre propre audio ou laisser le graphique générer un lit silencieux qui correspond à la longueur du clip. L'audio est encodé en latents pour la synchronisation, éventuellement prévisualisé, puis muxé de retour lors de la sauvegarde. Si vous préférez des visuels purs pendant que vous affinez les réglages de LTX 2.3 Inpaint, gardez simplement le chemin silencieux activé.

Exportations et comparaison

Les nœuds de prévisualisation montrent le flux de contrôle, le passage 1, et les sorties raffinées à votre FPS cible pour un contrôle qualité rapide. Des vidéos de comparaison côte à côte sont générées automatiquement pour que vous puissiez évaluer comment LTX 2.3 Inpaint a affecté les zones masquées par rapport à l'original.

Nœuds clés dans le workflow ComfyUI LTX 2.3 Inpaint

LoraLoaderModelOnly (#419)

Attache le LTX 2.3 Inpaint LoRA au transformateur LTX‑2.3 chargé pour que les modifications restent localisées au masque. Augmentez strength pour privilégier un comportement inpaint plus marqué ou réduisez-le pour laisser le modèle de base influencer davantage le style. Gardez la force constante entre les passes pour éviter les dérives d'apparence. Modèles de référence : LTX‑2.3, LTX 2.3 Inpaint LoRA.

Sam2Segmentation (#800)

Génère des masques d'objet propres à partir de points positifs sur votre input_video. Fournissez des points à partir de PointsEditor (#860) pour verrouiller rapidement la cible, puis affinez avec une croissance de masque et une blockification. Des masques fiables réduisent le saignement des couleurs et permettent à LTX 2.3 Inpaint de converger plus rapidement. Page du projet : Segment Anything 2.

SetLatentNoiseMask (#417)

Applique votre masque binaire directement au latent afin que seule la région sélectionnée soit resamplée. Élargissez légèrement le masque avec GrowMaskWithBlur si vous voyez des coutures à la frontière, ou augmentez la taille des blocs si des détails très fins clignotent. Ce nœud est central pour garder le contenu non masqué parfaitement stable entre les cadres.

LTXVAddGuideMulti (#440)

Fusionne les cadres de contrôle masqués avec le conditionnement de texte pour que le modèle soit guidé à la fois par votre invite et par ce qui a changé spatialement. Il prend également en charge le recadrage pour concentrer le calcul sur la zone pertinente. Utilisez-le dans les passes basse résolution et haute résolution pour maintenir un comportement LTX 2.3 Inpaint cohérent.

LTXVLatentUpsampler (#818)

Agrandit les latents avec les modèles x2 dédiés de LTX, puis décode avec un VAE en mosaïque pour une efficacité mémoire. Il améliore les bords, les micro-textures, et les petits textes sans réinterpréter la disposition de la scène. Utilisez-le après un premier passage réussi pour augmenter la qualité tout en gardant le timing et l'identité stables.

CFGGuider (#396)

Contrôle à quel point le modèle doit suivre les invites et les guides. Des valeurs plus basses réduisent le surajustement au texte et peuvent préserver un mouvement subtil, tandis que des valeurs plus élevées imposent une adhérence plus forte à l'intérieur du masque. Ajustez cela avec la force de LoRA lorsque LTX 2.3 Inpaint semble trop libre ou trop contraint.

BasicScheduler (#575)

Définit le calendrier de bruit utilisé par l'échantillonneur. Le calendrier bong_tangent inclus est pris en charge par les nœuds RES4LYF; installez-les si vous souhaitez ce comportement exact. Référence : Nœuds RES4LYF.

SamplerCustomAdvanced (#382)

Exécute la boucle de débruitage avec votre préréglage d'échantillonneur choisi. Utilisez le même échantillonneur à travers les passes pour le look LTX 2.3 Inpaint le plus cohérent. Associez-le à des sigmas manuels ou basiques pour affiner le flux de bruit si vous avez besoin de stabilité supplémentaire.

Extras optionnels

• Suggérer pour LTX 2.3 Inpaint : décrivez précisément le nouvel objet, incluez le matériau, la couleur, l'échelle et comment il doit s'insérer dans l'éclairage existant; maintenez les négatifs actifs pour supprimer le flou ou les superpositions.
• Conseils de masquage : donnez aux masques une petite expansion pour couvrir les bords doux naturels; préférez quelques points confiants pour SAM 2 plutôt que beaucoup d'incertains.
• Performance : utilisez le facteur de réduction pour itérer rapidement sur les masques et les invites, puis revenez à l'échelle complète pour les passes finales et l'upscaling latent.
• Cohérence : maintenez la force de LoRA, CFG, et les choix d'échantillonneur stables entre les passes pour minimiser les changements temporels ou de style.

Remerciements

Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Alissonerdx pour la source du Workflow LTX 2.3 Inpaint pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux référentiels liés ci-dessous.

Ressources

• Alissonerdx/LTX 2.3 Inpaint Workflow Source
  • Hugging Face: Alissonerdx/LTX-LoRAs

Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et termes respectifs fournis par leurs auteurs et mainteneurs.