Учебник по рабочему процессу#
Рабочий процесс видео на временной шкале LTX 2.3 Director 2.0 для ComfyUI#
LTX 2.3 Director 2.0 — это рабочий процесс ComfyUI с приоритетом временной шкалы для генерации, расширения, пересъемки и редактирования видео LTX‑2.3 с учетом звука. Он построен вокруг стороннего узла временной шкалы LTX Director 2.0 и двухэтапного конвейера рендеринга, который сначала создает сцену, а затем увеличивает и уточняет. Результат — управляемый процесс в стиле холста, идеальный для кинематографистов AI, которые хотят более длинные последовательности, синхронизированные с ритмом, без потери творческой итерации.
Этот проверенный граф управляет дистиллированной моделью LTX‑2.3 22B от Lightricks с выделенными видео и аудио VAE, а также пространственным увеличителем LTX‑2.3 x2. Подсказки, руководства по движению и необязательные пересъемки создаются непосредственно на временной шкале, и рабочий процесс автоматически поддерживает стабильность кадрирования во время увеличения на этапе 2. Он готов к RunComfy и предназначен для надежного повседневного производства.
Ключевые модели в рабочем процессе Comfyui LTX 2.3 Director 2.0#
- Lightricks LTX‑2.3 22B Distilled (только трансформер) – генеративная видеооснова, которая синтезирует движение и визуальные эффекты из текста и руководств. Model card
- LTX‑2.3 Video VAE (bf16) – кодирует/декодирует видео латенты для эффективного удаления шума и восстановления конечного кадра. Assets
- LTX‑2.3 Audio VAE (bf16) – преобразует аудио временной шкалы в латенты для управления с учетом звука и восстанавливает звуковую волну в конце. Assets
- LTX‑2.3 Spatial Upscaler x2 v1.1 – суперразрешение в латентном пространстве, которое удваивает пространственную детализацию перед финальным проходом. Assets
- LTX‑2.3 Text Projection – отображает подсказки в встраиваемое пространство модели для согласованного кондиционирования. Assets
- Optional Tiny VAE for previews (taeltx2_3) – легкий предварительный VAE, используемый для быстрых предварительных просмотров модели. Kijai LTX2.3_comfy
Инструменты временной шкалы и узлы руководства предоставляются пользовательским расширением ComfyUI от WhatDreamsCost. WhatDreamsCost‑ComfyUI
Как использовать рабочий процесс Comfyui LTX 2.3 Director 2.0#
Этот рабочий процесс выполняется в двух скоординированных этапах: Этап 1 создает согласованный базовый видео и аудио латент из временной шкалы LTX Director; Этап 2 увеличивает масштаб, сохраняет кадрирование и уточняет детали; группа Process Video декодирует кадры, восстанавливает аудио, устанавливает fps и записывает финальный файл.
Models + Preview#
Группа “Models + Preview” загружает дистиллированную основу LTX‑2.3 22B, видео и аудио VAE, а также пространственный увеличитель x2. ModelPreviewOverrideKJ (#10) сочетает основу с небольшим предварительным VAE, чтобы вы могли просмотреть и проверить подсказки перед полной выборкой. LTXDirector (#131) — это холст, где вы устанавливаете продолжительность, частоту кадров, глобальные и сегментные подсказки, сигналы движения и аудио настройки. Если вы планируете итеративные пересъемки, сохраняйте RandomNoise (#30) неизменным, чтобы сохранить структуру при редактировании.
Stage #1#
Этап 1 преобразует вашу временную шкалу в кондиционирование и базовый аудио-видео латент. LTXVConditioning (#27) получает положительное кондиционирование от директора и обнуленное отрицательное через ConditioningZeroOut (#128) для чистой основы. LTXDirectorGuide (#133) объединяет данные руководства, руководства по движению, модель и видео VAE для создания направленного кондиционирования и начального видео латента; аудио от директора объединяется через LTXVConcatAVLatent (#29). Стек семплера (CFGGuider (#28), BasicScheduler (#33), KSamplerSelect (#32), SamplerCustomAdvanced (#31)) удаляет шум из этого AV латента в результате первого прохода, который затем разделяется LTXVSeparateAVLatent (#34), чтобы аудио латент мог быть перенесен вперед.
Stage #2 Upscale#
Этап 2 сохраняет ваше кадрирование, добавляя пространственные детали и уточнения. LTXDirectorCropGuides (#55) анализирует видео латент и кондиционирование Этапа 1, чтобы создать руководства по кадрированию, которые сохраняют стабильность объектов во время увеличения. LTXVLatentUpsampler (#14) применяет модель LTX‑2.3 spatial x2 к видео латенту с использованием полного видео VAE, затем LTXDirectorGuide (#132) повторно применяет руководство временной шкалы к латенту с более высоким разрешением и объединяет его с перенесенным аудио латентом через LTXVConcatAVLatent (#18). Второй стек семплера (CFGGuider (#17), BasicScheduler (#21), KSamplerSelect (#20), SamplerCustomAdvanced (#19)) создает финальный AV латент; последний проход LTXDirectorCropGuides (#54) обеспечивает соблюдение обрезок перед декодированием.
Process Video#
VAEDecode (#1) превращает финальный видео латент в кадры с видео VAE высокой четкости, в то время как LTXVAudioVAEDecode (#24) восстанавливает звуковую волну из аудио латента. CreateVideo (#2) объединяет кадры и аудио с частотой кадров, транслируемой директором, и SaveVideo (#37) записывает файл в выходную папку, определенную в узле. Если ваш финал выглядит несоответствующим по времени, отрегулируйте частоту кадров директора или границы сегментов временной шкалы и перерендерите.
Ключевые узлы в рабочем процессе Comfyui LTX 2.3 Director 2.0#
LTXDirector (#131)#
Мозг временной шкалы рабочего процесса. Создайте глобальную подсказку, разместите подсказки по сегментам, включите аудио и дорожки движения и установите продолжительность и частоту кадров. Используйте пересъемки, указав окно пересъемки и подсказку; только это окно будет переснято, сохраняя окружающий контекст. Включите редактирование с учетом звука, чтобы саундтрек или озвучка влияли на темп и акценты. Необязательный вход латента может быть использован для закрепления итераций, когда вы хотите сохранить согласованную структуру кадров.
LTXDirectorGuide (#133)#
Руководство Этапа 1, которое преобразует подсказки временной шкалы, данные руководства и сигналы движения в кондиционирование и начальный видео латент. Оно устанавливает композицию и поток движения в базовом разрешении. Настройте его, когда вам нужна более сильная приверженность нарративу или более четкая блокировка до увеличения. Его выводы управляют семплером Этапа 1 и подготавливают руководство по кадрированию для следующего этапа.
LTXDirectorGuide (#132)#
Руководство Этапа 2, работающее после пространственного увеличения x2. Оно повторно вводит ту же интеллектуальность временной шкалы на более высоком разрешении, чтобы детали стали более четкими, не нарушая композицию. Когда вы стремитесь к большей текстуре или микродвижению, смещайте решения здесь, чтобы Этап 2 уточнял, а не переписывал ваш замысел Этапа 1.
LTXVLatentUpsampler (#14)#
Применяет пространственный увеличитель LTX‑2.3 x2 v1.1 в латентном пространстве для эффективного добавления деталей. Используйте его для удвоения пространственной четкости перед финальным проходом удаления шума, что обычно улучшает края, мелкие реквизиты и типографику. Оставьте его включенным для мастер-рендеров; рассмотрите возможность обхода только для очень быстрого предварительного просмотра.
LTXDirectorCropGuides (#55)#
Вычисляет окна обрезки по сегментам, чтобы кадрирование объектов сохранялось на пути увеличения. Используйте его, когда у вас есть специфические для кадра композиции, повторные кадрирования или форматирование с черными полосами, чтобы поддерживать согласованный вид на обоих этапах. Если вы видите дрейфующие обрезки, пересмотрите свои сегменты временной шкалы и пересоздайте руководства.
SamplerCustomAdvanced (#31)#
Сэмплер Этапа 1, который переводит кондиционирование в базовый AV латент. Сочетайте его с руководителем и планировщиком Этапа 1 для балансировки приверженности и исследования. Для стабильных пересъемок сохраняйте ту же семену шума; для новых вариаций рандомизируйте семену.
SamplerCustomAdvanced (#19)#
Сэмплер Этапа 2, который завершает детализацию после увеличения. Он должен оставаться согласованным с выбором Этапа 1, чтобы уточнение оставалось верным. Когда результаты кажутся чрезмерно сглаженными или чрезмерно резкими, сначала настройте тип сэмплера или сочетание планировщиков здесь.
Дополнительные возможности#
- Чтобы расширить последовательность, добавьте сегменты на временной шкале директора и увеличьте продолжительность; рабочий процесс автоматически распространит новое время и аудио.
- Для редактирования, синхронизированного с ритмом, включите редактирование с учетом звука и разместите аудио сегменты; аудио VAE будет направлять движение и акценты во время семплирования.
- Если вы хотите воспроизводимые пересъемки, сохраняйте
RandomNoise(#30) фиксированным; для изучения альтернатив измените семену между рендерами. - Предварительный VAE ускоряет разработку внешнего вида; полагайтесь на декодирование видео VAE только для финалов, чтобы сэкономить время.
- Оставьте метод изменения размера директора на maintain‑aspect, чтобы предотвратить непреднамеренное растяжение после этапа увеличения.
- Организация вывода контролируется в
SaveVideo(#37); установите четкую папку для каждого проекта, чтобы поддерживать порядок в итерациях.
Ссылки и справочные материалы
- Модели и активы LTX‑2.3: Lightricks/LTX‑2.3
- Узлы временной шкалы и руководства: WhatDreamsCost‑ComfyUI
- Утилиты предварительного просмотра: ComfyUI‑KJNodes
- Небольшой предварительный VAE: Kijai LTX2.3_comfy
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы выражаем искреннюю благодарность MDMZ за учебник по рабочему процессу, WhatDreamsCost за узлы WhatDreamsCost-ComfyUI и Lightricks за модель LTX-2.3 за их вклад и поддержку. Для получения авторитетной информации обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- Учебник по рабочему процессу MDMZ (YouTube)
- Документы / Примечания к выпуску: Источник учебника по рабочему процессу
- Канал WhatDreamsCost/YouTube
- Документы / Примечания к выпуску: Канал WhatDreamsCost на YouTube
- WhatDreamsCost/WhatDreamsCost-ComfyUI
- Lightricks/LTX-2.3
- Hugging Face: Lightricks/LTX-2.3
Примечание: Использование указанных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.