LTX 2.3 Inpaint | Точное редактирование видео LoRA

LTX 2.3 Inpaint рабочий процесс для точных, маскированных редактирований видео

Этот рабочий процесс ComfyUI приносит целевое редактирование видео в LTX-2.3 путем сочетания базовой модели с LTX 2.3 Inpaint LoRA. Вы определяете маску над областью, которую нужно изменить, затем конвейер регенерирует только эту область, сохраняя движение, идентичность, освещение и временную согласованность в остальной части сцены. Идеально подходит для удаления артефактов, замены объектов, улучшения деталей или вставки новых элементов без повторного рендеринга всей последовательности.

LTX 2.3 Inpaint интегрирован от начала до конца: загрузите референсное видео, создайте или автоматически сгенерируйте маски, направьте модель с маскированными кадрами, выполните начальный проход, затем улучшите с латентным апскейлером и дополнительным вторым инпейнт-проходом. Поддерживается аудио, которое можно передать или сгенерировать в виде тишины, чтобы соответствовать длительности отредактированного клипа.

Ключевые модели в рабочем процессе ComfyUI LTX 2.3 Inpaint

• LTX-2.3 22B Transformer Only (разработка или дистиллированный). Основной видео-диффузионный трансформер, который синтезирует временно согласованные кадры из текста и руководств. Используйте дистиллированную сборку для более быстрого 8-шагового вывода. Hugging Face: Lightricks/LTX-2.3 и GitHub: LTX-2
• LTX 2.3 Inpaint LoRA. Редактирующий LoRA настроен для LTX-2.3, который фокусирует генерацию внутри маскированной области, чтобы вы могли удалять, заменять или улучшать контент, сохраняя стабильность движения фона. Hugging Face: Alissonerdx/LTX-LoRAs
• Gemma 3 12B Instruct текстовый энкодер + LTX-2.3 текстовая проекция. Обеспечивает выровненные текстовые встраивания для трансформера LTX-2.3 во время кондиционирования подсказок. Предоставлены предустановленные веса для использования в ComfyUI. Hugging Face: Comfy-Org/ltx-2 (split files)
• LTX-2.3 Video VAE и Audio VAE. Сжимайте и декодируйте видео и аудио латенты, используемые трансформером и аудио модулями, обеспечивая эффективное выборку и синхронизированный вывод. Курированные бинарные файлы доступны для ComfyUI. Hugging Face collection
• LTX-2.3 Spatial Upscaler x2 и Temporal Upscaler x2. Дополнительные латентные апскейлеры, которые поднимают пространственные детали и стабилизируют временную динамику во втором проходе без изменения контента. Hugging Face: Lightricks/LTX-2.3
• Segment Anything 2 (SAM 2). Используется для автоматической, точечной генерации масок непосредственно на видеокадрах, ускоряя настройку LTX 2.3 Inpaint. GitHub: facebookresearch/segment-anything-2

Как использовать рабочий процесс ComfyUI LTX 2.3 Inpaint

Рабочий процесс выполняется в двух координированных стадиях. Сначала он создает управляемый поток контроля из вашего входного видео и производит отредактированный первый проход. Затем он улучшает качество с помощью латентного апскейлинга и, когда включен, маскированного высокоразрешенного инпейнт-прохода.

Настройки видео

Эта группа рассчитывает длину клипа и частоту кадров для LTX 2.3 Inpaint. Установите FPS и Duration (Seconds) для определения времени; граф вычисляет total_frames соответственно. Рабочий процесс также позволяет выбрать более длинное измерение изображения в качестве целевого разрешения, затем последовательно изменяет размер входных данных, чтобы подсказки, маски и руководства совпадали.

Входные данные

Загрузите короткий референсный клип с помощью VHS_LoadVideo и позвольте графу предварительно масштабировать кадры до выбранного вами разрешения. Конвейер сохраняет внутреннюю копию под названием input_video для создания маски и control_video, который будет направлять LTX 2.3 Inpaint во время выборки. Вы можете предварительно просмотреть поток контроля в любое время, чтобы подтвердить кадрирование и частоту кадров.

Сегментация

Выберите, как создавать маски для LTX 2.3 Inpaint. Используйте Sam2Segmentation (#800) для автоматических масок на основе точек или управляйте им с помощью PointsEditor (#860) для тонкого контроля. Пост-обработайте результат с помощью GrowMaskWithBlur, чтобы добавить небольшую зону безопасности, и BlockifyMask, чтобы уменьшить шумные края; рабочий процесс сохраняет очищенный вывод как final_masks.

Предварительный просмотр контрольного видео

Граф композитирует вашу маскированную область над нейтральным кадром, так что модель "видит" только то, что нужно изменить. ImageCompositeFromMaskBatch+ создает маскированные руководящие кадры, а VHS_VideoCombine предварительно просматривает последовательность с вашей целевой частотой кадров. Этот сфокусированный поток управления является основой LTX 2.3 Inpaint и помогает сохранить немаскированный контент.

Подсказка

Напишите, что вы хотите, чтобы появилось после редактирования, и сохраните неизменные аспекты явными. Используйте основной энкодер Manual Prompt (#389) для положительных и включенный отрицательный энкодер для подавителей качества, таких как размытие и водяные знаки. Хорошие подсказки для LTX 2.3 Inpaint описывают новый объект, его материалы, масштаб и то, как он должен располагаться в существующем составе и освещении.

Создание низкого разрешения

Первый проход связывает подсказки и ваши контрольные кадры в руководство модели. LTXVAddGuideMulti (#440) прикрепляет маскированное руководство к кондиционированию, CFGGuider (#396) балансирует приверженность вашему тексту, а SamplerCustomAdvanced (#382) выполняет вывод с выбранным вами сэмплером и планировщиком. Результат - временно согласованный отредактированный клип, который уже уважает вашу маску LTX 2.3 Inpaint.

Латентное увеличение масштаба

Если вы хотите больше деталей без изменения контента, включите апскейлер. LTXVLatentUpsampler (#818) применяет пространственный апскейлер LTX в латентном пространстве и декодирует с помощью VAEDecodeTiled для эффективной реконструкции памяти. Вы можете сравнить до и после с помощью встроенных узлов комбинирования.

Создание высокого разрешения

Для более высокой точности инпейнта, управляемого первым проходом, рабочий процесс обрезает и повторно связывает руководства с LTXVAddGuideMulti (#877) и выборками с SamplerCustomAdvanced (#816). Этот этап по-прежнему учитывает маски и сохраняет стабильность движения сцены, добавляя четкие края и лучшие текстуры. Это предпочтительный способ завершения снимков LTX 2.3 Inpaint, когда позволяет время.

Переключатель маски

Простой переключатель Automatic Segmentation направляет либо ручные, либо автоматические маски в путь инпейнта. Используйте автоматическую, когда цели хорошо отделены от фона, и переключайтесь на ручные точки, когда края сложные или когда вам нужен хирургический контроль над поведением LTX 2.3 Inpaint. Очищенный выбор сохраняется как final_masks для повторного использования.

Второй проход маскированного инпейнта

Посвященная ветвь инпейнта высокого разрешения поднимает маскирование еще дальше. SetLatentNoiseMask (#1010) вводит шум только там, где маска активна, чтобы модель пересэмплировала отредактированную область, замораживая все остальное. Этот проход идеален для замены меток, исправления мелких артефактов или замены реквизита с максимальной блокировкой композиции.

Аудио

Вы можете загрузить свое собственное аудио или позволить графу сгенерировать беззвучную основу, которая соответствует длине клипа. Аудио кодируется в латенты для синхронизации, по желанию предварительно просматривается, затем смешивается обратно при сохранении. Если вы предпочитаете чистую визуализацию, пока вы настраиваете параметры LTX 2.3 Inpaint, просто держите включенным беззвучный путь.

Экспорт и сравнение

Узлы предварительного просмотра показывают поток контроля, проход 1 и уточненные выходы с вашей целевой частотой кадров для быстрой проверки качества. Видеозаписи для бокового сравнения генерируются автоматически, чтобы вы могли оценить, как LTX 2.3 Inpaint повлиял на маскированные области по сравнению с оригиналом.

Ключевые узлы в рабочем процессе ComfyUI LTX 2.3 Inpaint

LoraLoaderModelOnly (#419)

Присоединяет LTX 2.3 Inpaint LoRA к загруженному трансформеру LTX-2.3, чтобы изменения оставались локализованными на маске. Увеличьте strength, чтобы сильнее склонить к поведению инпейнта, или уменьшите его, чтобы позволить базовой модели больше влиять на стиль. Держите силу постоянной на протяжении проходов, чтобы избежать дрейфа вида. Карты моделей-ссылок: LTX-2.3, LTX 2.3 Inpaint LoRA.

Sam2Segmentation (#800)

Генерирует чистые маски объектов из положительных точек на вашем input_video. Подавайте точки от PointsEditor (#860), чтобы быстро зафиксировать цель, затем уточните с помощью роста маски и блокировки. Надежные маски уменьшают цветное кровотечение и ускоряют сходимость LTX 2.3 Inpaint. Страница проекта: Segment Anything 2.

SetLatentNoiseMask (#417)

Применяет вашу бинарную маску непосредственно к латенту, так что только выбранная область пересэмплируется. Расширьте маску немного с помощью GrowMaskWithBlur, если вы видите швы на границе, или увеличьте размер блока, если очень тонкие детали мерцают. Этот узел является центральным для поддержания стабильности немаскированного контента на протяжении кадров.

LTXVAddGuideMulti (#440)

Объединяет маскированные контрольные кадры с текстовым кондиционированием, чтобы модель руководствовалась как вашей подсказкой, так и тем, что изменилось пространственно. Он также поддерживает обрезку для фокусировки вычислений на соответствующей области. Используйте его как в низком, так и в высоком разрешении проходов, чтобы поддерживать согласованное поведение LTX 2.3 Inpaint.

LTXVLatentUpsampler (#818)

Увеличивает масштаб латентов с помощью выделенных моделей x2 LTX, затем декодирует с помощью плиточного VAE для эффективности памяти. Улучшает края, микро-текстуры и мелкий текст без переосмысления компоновки сцены. Используйте после успешного первого прохода для повышения качества при сохранении стабильности времени и идентичности.

CFGGuider (#396)

Контролирует, насколько сильно модель должна следовать подсказкам и руководствам. Более низкие значения уменьшают переобучение на текст и могут сохранить тонкое движение, в то время как более высокие значения обеспечивают более сильную приверженность внутри маски. Настройте это наряду с силой LoRA, когда LTX 2.3 Inpaint выглядит слишком свободным или слишком ограниченным.

BasicScheduler (#575)

Устанавливает график шума, используемый сэмплером. Включенный график bong_tangent поддерживается через узлы RES4LYF; установите их, если хотите именно такое поведение. Справка: узлы RES4LYF.

SamplerCustomAdvanced (#382)

Запускает цикл денойзинга с вашим выбранным пресетом сэмплера. Используйте один и тот же сэмплер на протяжении проходов для самого согласованного вида LTX 2.3 Inpaint. Сочетайте с ручными или базовыми сигмами, чтобы тонко настроить поток шума, если вам нужна дополнительная стабильность.

Дополнительные возможности

• Подсказки для LTX 2.3 Inpaint: точно опишите новый объект, включите материал, цвет, масштаб и то, как он должен располагаться в существующем освещении; держите активными отрицательные, чтобы подавить размытие или наложения.
• Советы по маскированию: добавьте маскам небольшое расширение, чтобы покрыть естественные мягкие края; предпочитайте несколько уверенных точек для SAM 2, а не множество неопределенных.
• Производительность: используйте фактор уменьшения масштаба, чтобы быстро итеративно работать с масками и подсказками, затем вернитесь к полному масштабу для финальных проходов и латентного апскейлинга.
• Согласованность: держите силу LoRA, CFG и выбор сэмплера стабильными между проходами, чтобы минимизировать временные или стилевые сдвиги.

Благодарности

Этот рабочий процесс реализует и строит на основе следующих работ и ресурсов. Мы выражаем благодарность Alissonerdx за LTX 2.3 Inpaint Workflow Source за их вклад и поддержку. За авторитетными деталями, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы

• Alissonerdx/LTX 2.3 Inpaint Workflow Source
  • Hugging Face: Alissonerdx/LTX-LoRAs

Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.