LTX 2.3 Раскрашивание для ComfyUI: Плавное расширение видеокадров с временной согласованностью#
Этот рабочий процесс реализует LTX 2.3 Outpainting для расширения видеокадров за пределы их первоначальных границ, сохраняя движение, освещение и перспективу. Он предназначен для редакторов и создателей, которым необходимо изменение соотношения сторон, боковое или вертикальное расширение и кинематографическое изменение кадра без нарушения целостности. Используя руководство IC‑LoRA, LTX 2.3 Outpainting заполняет замаскированные области холста согласованно во времени и может также генерировать синхронизированное аудио.
Основанный на модели Lightricks’ LTX‑2.3 и ее интеграции в ComfyUI, граф соединяет умный препроцессор outpaint с условием IC‑LoRA для управления генерацией в вновь добавленных областях. Вы можете запускать варианты чисто текст‑видео или изображение‑видео, предварительно просматривать управляющие кадры и экспортировать финальный MP4 с аудио.
Основные модели в рабочем процессе Comfyui LTX 2.3 Outpainting#
- LTX‑2.3 22B контрольная точка. Основная аудио-видео диффузионная модель, которая определяет качество генерации и временную стабильность. Используйте официальные веса LTX‑2.3, такие как ltx‑2.3‑22b‑dev или ltx‑2.3‑22b‑distilled‑1.1 для более быстрых запусков Hugging Face page и детали модели на upstream в репозитории LTX‑Video GitHub и статье arXiv.
- Gemma 3 12B Instruct текстовый кодировщик с проекцией текста LTX 2.3. Кодирует подсказки с сильным соблюдением, подавая LTX‑2.3 через двойной кодировщик ComfyUI. См. карточку кодировщика Hugging Face и поддержку ComfyUI GitHub.
- LTX‑2.3 видео VAE и аудио VAE. Отображает между пиксельным или волновым пространством и латентным пространством модели для декодирования финальных кадров и аудио. Распространяется в пакете ComfyUI‑LTXVideo GitHub.
- LTX 2.3 Outpainting IC‑LoRA. Пространственное расширение LoRA, которое заставляет LTX‑2.3 обрабатывать замаскированные или черные области как зоны генерации, сохраняя целостность сцены во времени. Он использует условие IC‑LoRA, предоставленное узлами LTXVideo GitHub.
- Препроцессор Video Outpaint. Узел outpaint в стиле VACE вычисляет новый холст, маску и управляющие кадры, используемые LTX 2.3 Outpainting для управления синтезом в расширенных областях GitHub.
Как использовать рабочий процесс Comfyui LTX 2.3 Outpainting#
Рабочий процесс состоит из пяти скоординированных групп. VACE OUTPAINT предлагает новый холст и маску, LTX 2.3 Preprocess подготавливает входные данные, SAMPLING синтезирует видео и аудио, а выходной этап кодирует финальный MP4. PROMPTING и MODELS работают параллельно, чтобы предоставить текстовое условие и веса.
MODELS#
Эта группа загружает базовую контрольную точку LTX‑2.3 и применяет LTX 2.3 Outpainting IC‑LoRA, чтобы модель узнала, где добавлять новый контент. Видео и аудио VAE инициализируются для декодирования кадров и волновых форм. Состояние модели передается вниз по потоку к руководителю и сэмплеру, чтобы одни и те же веса управляли как кондиционированием, так и удалением шума. Вам не нужно ничего менять здесь, если только вы не хотите заменить базовую контрольную точку или другую IC‑LoRA.
PROMPTING#
Положительные и отрицательные подсказки кодируются с помощью двойной настройки кодировщика, соединяющей Gemma 3 12B с проекцией текста LTX 2.3. Напишите, что вы хотите видеть в добавленных полях вместе с указаниями движения и направления освещения, чтобы выровнять раскрашенный контент. Стиль или контент, который вы не хотите, идет в отрицательную подсказку. Кодировщики создают потоки кондиционирования, которые позже сливаются с руководством LTX 2.3 Outpainting.
VACE OUTPAINT#
Загрузите исходное видео в загрузчик, чтобы создать изображения по кадрам. Узел VACEOutpaint (#5109) вычисляет расширенный холст и точную маску, которая отмечает новую область генерации. График композитирует оригинальные кадры в этот больший холст с помощью ImageCompositeMasked (#5110), в результате чего получаются управляющие кадры, которые четко показывают "оставить" и "синтезировать" области. Ветвь предварительного просмотра собирает эти управляющие кадры в легкий MP4, чтобы вы могли подтвердить геометрию раскрашивания перед генерацией. Ширина, высота и длина последовательности на этом этапе управляют настройкой латентности вниз по потоку, поэтому модель работает точно на расширенном размере.
LTX 2.3 Preprocess#
Составные кадры нормализуются для LTX‑2.3 с помощью LTXVPreprocess (#3336). Если вы хотите привязку изображение-видео, установите bypass_i2v в false, чтобы LTXVImgToVideoConditionOnly (#3159) кондиционировало движение на управляющих кадрах; для чисто текст-видео раскрашивания установите его в true. LTXVConditioning (#1241) прикрепляет кондиционирование подсказок и наследует частоту кадров от видеозагрузчика, поддерживая синхронизацию аудио и видео. Эти сигналы проходят в LTXAddVideoICLoRAGuide, чтобы информировать, где и как LTX 2.3 Outpainting должен заполнить замаскированные области.
SAMPLING#
LTXAddVideoICLoRAGuide (#5012) объединяет подсказку, необязательное кондиционирование изображения, раскрашенное управляющее изображение и IC‑LoRA в единый пакет руководства. Пустая аудиолатентность с правильным количеством кадров соединяется, чтобы аудио генерировалось в ногу с видео. Сэмплер использует CFGGuider (#4828) с денойзером, выбранным KSamplerSelect, и коротким расписанием ManualSigmas, чтобы сбалансировать соблюдение подсказок и временную плавность. SamplerCustomAdvanced (#4829) производит совместную аудио-видео латентность, которая затем разделяется для декодирования.
Декодирование и экспорт#
VAEDecodeTiled (#4851) эффективно декодирует видеокадры при расширенном разрешении, а LTXVAudioVAEDecode (#4848) восстанавливает волновую форму. VHS_VideoCombine (#5137) объединяет кадры и аудиотрек в MP4 и записывает его в вашу выходную папку с унаследованной частотой кадров. Отдельная ветвь предварительного просмотра собирает видео управления VACE для быстрой итерации перед финальными запусками.
Основные узлы в рабочем процессе Comfyui LTX 2.3 Outpainting#
VACEOutpaint (#5109)#
Вычисляет целевой холст и бинарную или размытую маску, которая отмечает области раскрашивания. Расширяйте влево или вправо для широкоформатных переформатирований или сверху и снизу для вертикальных преобразований, затем подтверждайте в видео предварительного просмотра. Держите рост умеренным для первого прохода, итерация, если вам нужно больше пространства. Черные или четко замаскированные области работают лучше всего, потому что LTX 2.3 Outpainting обучен обращаться с ними как с зонами генерации.
LTXAddVideoICLoRAGuide (#5012)#
Центральный узел LTX 2.3 Outpainting, этот узел вводит IC‑LoRA и использует составные управляющие кадры, чтобы склонить генерацию только в замаскированные области. Увеличьте силу LoRA, чтобы усилить поведение пространственного расширения, уменьшите ее, если модель начинает переписывать оригинальный контент. Фактор уменьшения латентности поступает из загрузчика и должен оставаться как настроен, если только вы не балансируете скорость против детализации.
CFGGuider (#4828)#
Контролирует, насколько строго модель следует вашим подсказкам против входного кондиционирования. Поднимите руководство, чтобы усилить соблюдение в новых добавленных полях, уменьшите его, если движение становится нестабильным. Рассматривайте незначительные изменения вместе с расписанием сигм, а не большие скачки.
SamplerCustomAdvanced (#4829) с KSamplerSelect и ManualSigmas (#5025)#
Определяет путь денойзинга. Выбранный вариант Euler Ancestral CFG++ обеспечивает четкие детали с плавным движением для LTX‑2.3. Короткая лестница ручных сигм помогает сохранить структуру оригинального кадра, позволяя раскрашенным зонам развиваться согласованно.
VAEDecodeTiled (#4851)#
Декодирует высокоразрешенные кадры в плитках для управления VRAM. Если вы видите артефакты шва, немного измените размер плитки или перекрытие и повторите запуск. Этот узел предназначен исключительно для эффективности и не изменяет творческий результат.
VHS_VideoCombine (#5137)#
Объединяет видеокадры и сгенерированный аудиотрек на унаследованной частоте кадров. Если вы предпочитаете исходное аудио, направьте это аудио в комбинированный и отключите сгенерированный трек.
Дополнительные опции#
- Советы по подсказкам для LTX 2.3 Outpainting: опишите контент, который должен появиться конкретно в новых полях, добавьте глаголы движения, направление камеры и указания по освещению. Держите отрицательные подсказки короткими и сосредоточенными на визуальных артефактах, которые вы хотите подавить.
- Геометрия раскрашивания: начните с небольших боковых подкладок для естественного вида, затем итерация к окончательному соотношению сторон. Размытые маски лучше сливаются, чем жесткие края при расширении неба, воды или листвы.
- Текст-видео против изображение-видео: установите
bypass_i2vвtrueдля текст-управляемого LTX 2.3 Outpainting,false, когда вы хотите, чтобы оригинальный кадр закреплял стиль и макет. - Ссылки и источники: веса LTX‑2.3 и интеграция ComfyUI GitHub и Hugging Face; препроцессор outpaint в стиле VACE GitHub.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем @CG Pixel создателя LTX 2.3 за рабочий процесс Outpainting за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, связанным ниже.
Ресурсы#
- Источник рабочего процесса LTX 2.3/Outpainting
- Документация / Примечания к выпуску: YouTube @CG Pixel
Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.