LTX 2.3 Директор: Таймлайновое AI кинопроизводство для ComfyUI#
LTX 2.3 Директор — это кинематографический, управляемый таймлайном рабочий процесс для создания структурированных AI видео с точным творческим контролем. Основанный на видео модели LTX‑2.3, он позволяет режиссировать многосценные последовательности, располагая подсказки, референсные изображения, переходы и музыку вдоль знакомого таймлайна. Результат — это режиссерский опыт внутри ComfyUI, где последовательность движений, композиция кадра и синхронизация аудио обрабатываются последовательно от начала до конца.
Разработан для рассказчиков, создателей музыкальных видео, монтажеров трейлеров и всех, кто строит AI кинопроизводственные конвейеры, LTX 2.3 Директор преобразует инженерные подсказки в полный производственный поток. Вы задаете общий тон, уточняете каждый кадр с локальными подсказками и быстро просматриваете перед окончательной высокой качественной масштабировкой и экспортом.
Основные модели в рабочем процессе LTX 2.3 Директор для ComfyUI#
- Модель генерации видео LTX‑2.3 22B (FP8). Основной диффузионный каркас, который превращает текст и референсы в согласованные видео латенты. Model repo
- LTX‑2.3 Video VAE (bf16). Кодирует и декодирует видеокадры в компактное латентное пространство для эффективного семплирования и высококачественной реконструкции. Model repo
- LTX‑2.3 Audio VAE (bf16). Упаковывает и восстанавливает аудио в объединенный AV латент, чтобы движение и саундтрек оставались синхронизированными. Model repo
- LTX‑2.3 Spatial Upscaler x2 v1.1. Специализированный x2 латентный масштабировщик, который улучшает детализацию и резкость на этапе доработки. Model repo
- LTX‑2.3 22B Distilled LoRA (384). Дополнительный LoRA, который улучшает качество/эффективность и может изменить внешний вид модели. Model card
- Tiny VAE (taeltx2_3). Легкий VAE для быстрых предварительных просмотров во время итерации перед этапом масштабирования. Model repo
- LTX‑2.3 Text Projection (bf16). Официальная проекция текста в видео, используемая для высококачественной настройки подсказок. Model repo
Как использовать рабочий процесс LTX 2.3 Директор для ComfyUI#
Рабочий процесс выполняется в два этапа. Этап №1 устанавливает композицию, движение и аудио выравнивание на скорости предварительного просмотра. Этап №2 увеличивает разрешение, перенаправляет и уточняет детали для конечного качества. Завершающий блок декодирует, объединяет аудио и записывает видео.
Модели#
Этот раздел подготавливает стек моделей и текстовый энкодер, которые питают LTX 2.3 Директор. Загрузите базовую модель LTX‑2.3 и, если требуется, добавьте LoRAs для настройки стиля или эффективности. Маленький VAE ускоряет предварительные просмотры, в то время как полные VAE обеспечивают точность позже. Двойные текстовые компоненты, связанные с LTX‑2.3, предлагают надежную настройку подсказок без дополнительной настройки.
Ключевые узлы для поиска: CheckpointLoaderSimple (#77), DualCLIPLoader (#84), LoraLoaderModelOnly (#80, #93, #95), VAELoaderKJ (#78, #4, #3) и LTX2SamplingPreviewOverride (#79).
Этап №1#
Этап №1 преобразует ваш таймлайн в согласованное видео первого прохода с синхронизированным аудио. Подайте ваш общий тон и подсказки для каждого кадра в LTXDirector (#46) и соберите последовательность сегментов с изображениями и продолжительностью; узел возвращает объединенные AV латенты, данные руководства и частоту кадров. LTXVConditioning (#5) и LTXDirectorGuide (#8) преобразуют эти направления в структурированное руководство. Стек семплеров с CFGGuider (#9), BasicScheduler (#11), KSamplerSelect (#29) и SamplerCustomAdvanced (#10) производит начальный AV латент для всего таймлайна. Используйте этот проход для проверки порядка сцен, темпа и общего движения перед вложением вычислений в масштабирование.
Этап №2 Масштабирование#
Этап №2 улучшает разрешение и точность, сохраняя намерения первого прохода. LTXVCropGuides (#55) выравнивает композицию по кадрам, затем LTXVLatentUpsampler (#52) применяет x2 пространственный масштабировщик, загруженный LatentUpscaleModelLoader (#57). Второй LTXDirectorGuide (#58) повторно внедряет сигналы таймлайна с более высокой детализацией, а стек семплеров (CFGGuider (#49), BasicScheduler (#54), KSamplerSelect (#53), SamplerCustomAdvanced (#47)) уточняет текстуры, лица и края. Затем AV латент разделяется для окончательного декодирования, сохраняя связанное аудио и видео по времени.
Обработка видео#
Завершающий блок декодирует кадры и аудио, реконструирует последовательность и сохраняет результат. LTXVCropGuides (#14) обеспечивает покрытие выбранного аспекта, а VAEDecodeTiled (#94) безопасно декодирует видео высокого разрешения без исчерпания памяти. LTXVAudioVAEDecode (#16) восстанавливает саундтрек из аудио латента. CreateVideo (#17) собирает кадры и аудио с выбранной частотой кадров, а SaveVideo (#30) записывает окончательный файл.
Ключевые узлы в рабочем процессе LTX 2.3 Директор для ComfyUI#
LTXDirector(#46). Сердце LTX 2.3 Директор. Он принимает глобальную подсказку, таймлайн сегментов кадров и опциональные локальные подсказки для каждого кадра, затем выдает структурированное руководство плюс синхронизированные AV латенты. Настройте баланс между глобальными и локальными подсказками, чтобы контролировать, насколько точно каждый кадр следует своему описанию. Для резких монтажей держите определения сегментов чистыми; для плавных переходов допускайте перекрытие и согласованность стиля.LTXDirectorGuide(#8). Превращает указания режиссера в действенные руководства для Этапа №1. Настройте его масштаб и метод пересемплирования, чтобы обменивать скорость на точность во время предварительного просмотра. Если сцены кажутся слишком грубыми, увеличьте его влияние; если переограничены, уменьшите его, чтобы семплер мог дышать.LTXDirectorGuide(#58). Второе, более точное руководство для Этапа №2. Используйте его для повторного утверждения кадрирования, намерения камеры и стиля после масштабирования. Сбалансируйте этот узел с масштабировщиком: более сильное руководство фиксирует композицию, в то время как более легкое прикосновение позволяет масштабировщику подчеркивать детали и микротекстуру.LTXVCropGuides(#55). Нормализует композицию и соблюдает правила аспектов перед масштабированием. Используйте его для стабилизации горизонтов, свободного пространства над головой и центра интереса по кадрам. Если персонаж дрейфует от кадра к кадру, усиливайте эти руководства обрезки перед пересемплированием.LTXVLatentUpsampler(#52). Применяет LTX‑2.3 Spatial Upscaler x2 к латенту. Это основной рычаг для восстановления четких деталей из предварительного просмотра Этапа №1. Убедитесь, что выбранная модель масштабировщика соответствует вашей паре VAE, чтобы избежать артефактов несоответствия.CFGGuider(#9, #49). Управляет соблюдением подсказок во время семплирования. Более низкие значения обычно дают более плавное движение и более естественные переходы; более высокие значения обеспечивают текстовую точность. Если лица или реквизит дрейфуют, слегка увеличьте руководство; если движение кажется жестким, ослабьте его.BasicScheduler(#11, #54) иKSamplerSelect(#29, #53). Определяют график шума и метод семплирования. Вместе они определяют текстуру движения, временную стабильность и время рендеринга. Если вы видите мерцание, попробуйте более плавный график или семплер, известный своей временной последовательностью; если результаты недостаточно детализированы, протестируйте семплер, который отдает предпочтение резкости.SamplerCustomAdvanced(#10, #47). Рабочая лошадка денойзера для обоих проходов. Он комбинирует ваше семя шума, график, руководство и текущий латент для создания AV латентов. Держите семена фиксированными, пока вы итеративно работаете с подсказками, чтобы сравнивать изменения "яблоко к яблоку"; меняйте семена, когда хотите новые блокировки или временные рамки.VAEDecodeTiled(#94). Декодирует кадры высокого разрешения с конфигурируемыми тайлами. Если вы замечаете швы, увеличьте перекрытие; если вы достигаете пределов памяти, уменьшите размер тайла. Используйте тайловое декодирование даже на средних GPU для постоянной стабильности.CreateVideo(#17) иSaveVideo(#30). Объединяют кадры и аудио с выбранной частотой кадров и записывают окончательный контейнер. Держите частоту кадров согласованной с вашим таймлайном или вы измените темп. Для архивных мастеров экспортируйте в родном размере Этапа №2; для социальных платформ вы можете изменить размер во время экспорта.
Дополнительные элементы#
- Постройте свой таймлайн с четким позвоночником: глобальный стиль в глобальной подсказке, специфика кадров в локальных подсказках, и держите существительные персонажа/камеры согласованными по сегментам.
- Референсные изображения якорят внешний вид и компоновку. Используйте их для ключевых кадров, таких как установочные кадры или крупные планы, затем позвольте соседним сегментам больше полагаться на текст для плавности.
- Для музыкальных видео добавьте аудио рано и итеративно изменяйте семена, пока акценты движения не совпадут с ударами; затем зафиксируйте семя и уточните подсказки.
- Если переходы кажутся резкими, удлините соседние подсказки сегментов, чтобы разделить язык стиля и сохранить схожие руководства по композиции по кадрам.
- LoRAs складываются, но мягкие силы часто работают лучше всего. Начинайте скромно, комбинируйте только пару одновременно и тестируйте их взаимодействие на коротком отрезке.
- Воспроизводимость имеет значение: ведите учет семени шума, выбора семплера и любых использованных LoRAs, когда вы утверждаете вид.
- Если лица дрейфуют после масштабирования, увеличьте влияние руководства на Этапе №2 в
LTXDirectorGuide(#58) или переключитесь на график, который отдает предпочтение временной стабильности. - Исследуйте дополнительные ресурсы и модели LTX‑2.3 через список кураторства сообщества. awesome‑ltx2 на GitHub
С помощью LTX 2.3 Директор вы можете управлять сложными, многосценными видео так, как это привычно для редакторов таймлайнов, таких как Premiere или After Effects, сохраняя при этом гибкость графа узлов ComfyUI. Формируйте историю на Этапе №1, добавляйте точность на Этапе №2 и выпускайте кинематографические результаты с синхронизированным аудио в одном согласованном рабочем процессе.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем Aiwood爱屋研究室 за LTX 2.3 Директор Workflow за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Ресурсы#
- Aiwood爱屋研究室/LTX 2.3 Директор Workflow Source
- Документы / Примечания к выпуску: LTX 2.3 Директор Workflow Source
Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.
