LTX 2.3 Sulphur 2 Prompt Relay Workflow | Создатель кинематографических видео

Рабочий процесс LTX 2.3 Sulphur 2 Prompt Relay: последовательность микро-действий от изображения к видео в ComfyUI#

Этот рабочий процесс ComfyUI превращает одно эталонное изображение и сегментированную подсказку движения в короткий кинематографический клип. Он объединяет дистиллированную генерацию видео LTX‑2.3 с движением Sulphur 2 LoRA и умным кодированием Prompt Relay, чтобы вы могли описывать микро-действия как последовательность, а не полагаться на одну плоскую подсказку. График предварительно настроен для синхронизированных аудиолатентов, проверенного примера изображения под дождем к видео и нормализованных входов/выходов для прямого воспроизведения в облаке.

Используйте этот рабочий процесс LTX 2.3 Sulphur 2 Prompt Relay, когда вам нужно плотное визуальное закрепление на эталонном кадре и управляемое движение, разворачивающееся шаг за шагом. Кинематографисты, редакторы и дизайнеры движения могут разложить "такты" как "идет под дождем | причесывает волосы | поворачивается и машет | выходит" и получить согласованное движение и кадрирование на всем протяжении съёмки.

Основные модели в рабочем процессе ComfyUI LTX 2.3 Sulphur 2 Prompt Relay#

• Основная аудиовизуальная модель LTX‑2.3 (дистиллированная, только трансформер). Генерирует видео и синхронизированные аудиотокены в одном диффузионном проходе; этот рабочий процесс использует дистиллированный вариант 22B, упакованный для ComfyUI. Веса: Lightricks/LTX‑2.3 и узлы/утилиты: Lightricks/ComfyUI‑LTXVideo. См. также научные исследования в LTX‑Video и статью LTX‑Video: Realtime Video Latent Diffusion.
• Пара LTX‑Video VAE (видео VAE + аудио VAE). Кодирует/декодирует скрытые видеокадры и аудиопоток, используемый для выравнивания времени. Предварительно созданные файлы VAE, подходящие для ComfyUI, доступны в пакетах LTX‑2.3, например Kijai/LTX2.3_comfy и в официальном репозитории ComfyUI‑LTXVideo.
• Текстовый кодировщик на основе Gemma и проекция текста LTX. Обеспечивает понимание подсказок с длинным контекстом для LTX‑2.3 через кодировщики в стиле CLIP и специфический для модели слой проекции, включенный в интеграцию LTX. См. кодировщик и конфигурации в ComfyUI‑LTXVideo.
• Движение Sulphur 2 LoRA (опционально). Тонкая настройка, загружаемая как LoRA для смещения темпа движения и непрерывности для изображения к видео. Хорошо сочетается с Prompt Relay, когда вам нужен явный контроль от такта к такту.

Как использовать рабочий процесс ComfyUI LTX 2.3 Sulphur 2 Prompt Relay#

Рабочий процесс следует четкому пути от эталонного изображения к установке латентов, модели и LoRAs, последовательности подсказок, выборки, затем декодирования и экспорта. Замените демонстрационные входы на свои собственные и сосредоточьтесь на нескольких контролях, указанных ниже.

• Эталонное изображение и размер
  • LoadImage (#620) позволяет выбрать якорное изображение. Следующий узел, ImageScaleByAspectRatio V2 (#621), подгоняет его под рабочий холст, сохраняя стабильность композиции. LTXVPreprocess (#586) применяет LTX-дружественную предварительную обработку, чтобы первый кадр зафиксировал объект, освещение и палитру. Используйте чистое, хорошо освещенное эталонное изображение, которое уже соответствует вашему желаемому кадрированию.
• Настройка латентов (видео + аудио)
  • EmptyLTXVLatentVideo (#577) определяет размер холста и длину кадра. Get_video_vae (#583) и LTXVImgToVideoInplaceKJ (#617) внедряют эталонное изображение непосредственно в скрытое видео, чтобы внешний вид оставался согласованным с первого кадра. Параллельно, Get_audio_vae (#576) с LTXVEmptyLatentAudio (#547) создают синхронизированный аудиолатент (по умолчанию беззвучный), чтобы сохранить выравнивание времени. LTXVConcatAVLatent (#548) объединяет оба потока для единой диффузии.
• Загрузка моделей и контроль движения
  • UNETLoader (#632) загружает дистиллированный трансформер LTX‑2.3. Стек LoRA добавляет поведение: LoraLoaderModelOnly (#630) применяет дистиллированный помощник LTX, LoraLoaderModelOnly (#628) загружает движение Sulphur 2 LoRA, и LoraLoaderModelOnly (#606) может добавить стабилизатор I2V. PathchSageAttentionKJ (#542) исправляет внимание для производительности/согласованности. Вместе эти узлы определяют, насколько сильно ваши подсказки управляют движением по сравнению с сохранением эталона.
• Последовательность подсказок с Prompt Relay
  • DualCLIPLoader (#416) загружает текстовый кодировщик. PromptRelaySmartEncode (#610) принимает global_prompt для постоянных деталей и smart_prompt для последовательности действий. Используйте сегменты, разделенные трубой, такие как "женщина идет под дождем | причесывает волосы | поворачивается и машет | уходит в даль", или используйте заголовки блоков, такие как "Сцена 1: … Сцена 2: …" для распределения экранного времени. Узел автоматически распределяет время по сегментам, так что вы можете писать такты вместо подсчета кадров. См. справочник по синтаксису в ComfyUI‑PromptRelay.
• Кондиционирование и частота кадров
  • LTXVConditioning (#164) получает вывод Prompt Relay для положительного направления и минимального отрицательного базового (ConditioningZeroOut, #420). Он также устанавливает целевую частоту кадров для кадра, которую узлы ниже используют для поддержания согласованности времени с вашим взвешиванием сегментов.
• Сэмплер и предварительный просмотр
  • BasicScheduler (#514) формирует график шума; KSamplerSelect (#154) выбирает сэмплер. VisualizeSigmasKJ (#358) предварительно просматривает график, чтобы вы могли увидеть, как будет прогрессировать кривая денойзинга. LTX2SamplingPreviewOverride (#588) обеспечивает отзывчивые предварительные просмотры во время диффузии. SamplerCustom (#561) выполняет объединенную аудио-видео диффузию с использованием вашего AV латента, подсказок, LoRAs и графика.
• Декодирование и экспорт
  • LTXVSeparateAVLatent (#549) разделяет финальный AV латент. VAEDecode (#471) создает кадры; LTXVAudioVAEDecode (#550) декодирует аудиолатент. VHS_VideoCombine (#604) объединяет кадры и аудио в MP4 с кодеком H.264 и стандартным форматом yuv420p, готовым для воспроизведения и редактирования.

Основные узлы в рабочем процессе Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

• PromptRelaySmartEncode (#610)
  • Цель: Переводит вашу подсказку "smart prompt" с такта на такт в правильно синхронизированное текстовое кондиционирование для всего клипа. Используйте global_prompt для неизменных деталей (стиль, объект, освещение) и smart_prompt для последовательности действий. Поддерживаются два стиля авторства: встроенные сегменты, разделенные | с опциональными пропорциональными тегами, такими как [0-50], или заголовки блоков, такие как "Сцена 1:", которые взвешивают сегменты по диапазону. Используйте один синтаксис на подсказку, чтобы избежать неоднозначности. Справочник по синтаксису: ComfyUI‑PromptRelay.
• LTXVImgToVideoInplaceKJ (#617)
  • Цель: Фиксирует вид первого кадра и мягко распространяет его через движение. Если идентичность или гардероб отклоняются, увеличьте его приверженность изображению; если движение кажется ограниченным, уменьшите его, чтобы позволить больше динамики. Балансируйте это с вашей силой Sulphur 2 LoRA, чтобы эталон оставался стабильным без чрезмерного замораживания движения.
• LoraLoaderModelOnly (#628) — движение Sulphur 2 LoRA
  • Цель: Внедряет тонкую настройку Sulphur 2 для добавления непрерывности движения, плавности траектории и постановки действий. Увеличьте strength_model, чтобы усилить управляемое движение по сегментам; уменьшите его, если видите чрезмерное ограничение или повторяющиеся шаблоны. Регулируйте в тандеме с силой ImgToVideoInplace, чтобы сохранить верность объекту и энергичность движения в гармонии.
• LTXVConditioning (#164)
  • Цель: Консолидирует положительное/отрицательное кондиционирование для LTX‑2.3 и устанавливает частоту кадров клипа. Если вы увеличиваете длину кадра, пересмотрите веса сегментов Prompt Relay, чтобы относительное время по-прежнему соответствовало задуманным тактам.
• SamplerCustom (#561)
  • Цель: Выполняет проход денойзинга с использованием выбранного вами сэмплера и графика. Если движение дрожит, попробуйте немного более плавный график или сэмплер, известный своей временной стабильностью; если подсказки недоуправляют, немного увеличьте руководство, следя за переизбытком. Используйте VisualizeSigmasKJ, чтобы проверить форму графика перед длительными запусками.

Опциональные дополнения#

• Написание эффективных микро-действий с Prompt Relay
  • Встроенный стиль: "идет под дождем | причесывает волосы | поворачивается и машет | выходит". Чтобы дать одному действию больше времени, добавьте тег веса, такой как "[0-200]" против "[200-260]"; важен только диапазон.
  • Стиль блока: используйте заголовки, такие как "Сцена 1:" и "Сцена 2-4:" на отдельных строках. Диапазон в заголовке задает относительную продолжительность, и заголовки удаляются перед токенизацией.
• Быстрое устранение неполадок
  • Отклонение идентичности: увеличьте приверженность изображению в LTXVImgToVideoInplaceKJ или уменьшите strength_model Sulphur 2.
  • Слишком медленное/быстрое движение: пересмотрите диапазоны сегментов в умной подсказке, чтобы важные такты получили больше или меньше времени.
  • Мерцание или артефакты: попробуйте более устойчивый сэмплер и график, или немного увеличьте руководство; следите за переизбытком резкости.
• Полезные ссылки
  • Веса модели LTX‑2.3 и документация: Hugging Face: Lightricks/LTX‑2.3
  • Узлы ComfyUI и примеры потоков: Lightricks/ComfyUI‑LTXVideo
  • Синтаксис и примеры Prompt Relay: kijai/ComfyUI‑PromptRelay
  • Дружественные к LTX помощники, используемые в этом графике: kijai/ComfyUI‑KJNodes

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем Lightricks за LTX-Video, Kijai за узел ComfyUI-PromptRelay и помощников ComfyUI-KJNodes, а также RunningHub и RunComfy за ссылки на рабочие процессы и настройку Cloud Save за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы#

• Ссылка на рабочий процесс RunningHub
  • Документы / Примечания к выпуску: Ссылка на рабочий процесс RunningHub
• Настройка Cloud Save RunComfy
  • Документы / Примечания к выпуску: Настройка Cloud Save RunComfy
• Lightricks/LTX-Video
  • GitHub: Lightricks/LTX-Video
  • Hugging Face: Lightricks/LTX-Video-0.9.7-dev
  • arXiv: arXiv:2501.00103
• kijai/ComfyUI-PromptRelay
  • GitHub: kijai/ComfyUI-PromptRelay
• kijai/ComfyUI-KJNodes
  • GitHub: kijai/ComfyUI-KJNodes

Примечание: Использование упомянутых моделей, наборов данных и кода регулируется соответствующими лицензиями и условиями, предоставленными их авторами и обслуживающими лицами.