LTX 2.3 IC-LoRA Управление Камерой для ComfyUI#
LTX 2.3 IC-LoRA Управление Камерой — это рабочий процесс управления движением камеры, основанный на референсах, для LTX-Video 2.3 в ComfyUI. Дайте ему короткое референсное видео и творческую подсказку, и он перенесет траекторию камеры из референса в новую сгенерированную сцену, сохраняя композицию объекта и временную согласованность, пока вы сосредоточены на контенте, освещении и настроении.
Создан для кинематографистов, VFX-артистов и AI-создателей, этот рабочий процесс ComfyUI воспроизводит панорамирование, наклоны, движения камеры, зум и орбитальные движения с регулируемой силой движения. Он сочетает в себе унифицированную генерацию видео и аудио LTX-2.3 с In-Context LoRA, адаптированной для управления камерой, так что вы получаете плавное движение, согласованное кадрирование и синхронизированное аудио за один проход.
Основные модели в рабочем процессе Comfyui LTX 2.3 IC-LoRA Управление Камерой#
- Lightricks LTX-2.3. Диффузионный трансформатор, который совместно генерирует видео и аудио, обеспечивая сильную временную согласованность и синхронизированный звук за один проход. Это основной генератор в этом рабочем процессе и цель для IC-LoRA. Модельная карточка
- LTX-Video VAE. Спатиально-временной видео VAE, используемый LTX, сжимает кадры в компактное скрытое пространство для эффективного удаления шума, а затем декодирует высококачественные кадры в конце выборки. См. архитектурные отчеты для LTX-Video и LTX-2.
- Gemma текстовый энкодер, настроенный на инструкции. Текстовый энкодер Gemma, настроенный на инструкции, преобразует ваши подсказки в векторы условий, которые может следовать генератор, позволяя создавать подробные описания кадров и контролировать стиль.
- LTX 2.3 IC-LoRA для Управления Камерой. Специализированный In-Context LoRA адаптер, который извлекает сигналы движения камеры из референсного видео и внедряет их в LTX-2.3, выравнивая виртуальную камеру новой сцены с референсным путем.
Как использовать рабочий процесс Comfyui LTX 2.3 IC-LoRA Управление Камерой#
Этот рабочий процесс организован в группы, которые готовят ваш референс, строят условия и запускают выборку перед смешиванием аудио и видео. IC-LoRA извлекает движение камеры из референса, пока ваша подсказка определяет, что появляется на экране.
Настройка Входного Видео#
Используйте входные данные в этой группе, чтобы установить количество кадров в секунду, длительность клипа и целевое измерение длинной стороны. Эти три значения определяют бюджет кадров и рабочее разрешение для всего запуска. Сохранение FPS и длительности, согласованных с вашим референсом, помогает IC-LoRA воспроизводить время и скорость оригинального движения. Выберите размер, который соответствует вашему аспектному отношению и бюджету производительности. Если вы экспериментируете, начните скромно и увеличивайте, когда движение выглядит правильно.
Подготовка Референсного Видео#
Загрузите ваш референс камеры с помощью VHS_LoadVideo (#5983). Пайплайн масштабирует и нормализует кадры для модели, затем анализирует их, чтобы вычислить размеры и количество, обеспечивая размеры, которые хорошо работают с LTX-2.3. Плавные, одиночные кадры без разрезов работают лучше всего для LTX 2.3 IC-LoRA Управление Камерой, так как адаптер изучает путь камеры, а не монтаж истории. Панорамирование, наклоны, движения камеры, зум и орбитальные движения поддерживаются; избегайте дрожащих клипов или быстрых изменений сцены. Если ваш референс длиннее вашей цели, обрежьте его до наиболее представительского сегмента.
Предварительная Обработка#
Рабочий процесс создает пустой скрытый видео, выровненный с выбранным вами разрешением и длительностью, затем по желанию закрепляет внешний вид из неподвижного изображения с помощью LTXVImgToVideoConditionOnly (#5904). Подача неподвижного изображения в стиле может улучшить согласованность объекта и палитры, оставляя движение IC-LoRA. Этот этап также вычисляет безопасные, дружественные к модели размеры и обеспечивает соответствие скрытой временной шкалы темпу референса. Результат — чистая отправная точка, подготовленная для управления камерой.
Условие#
Напишите основное описание кадра в позитивной подсказке и перечислите нежелательные артефакты в негативной подсказке. Подсказки кодируются, и временно-осознанное условие собирается в LTXVConditioning (#164). LTX 2.3 IC-LoRA Управление Камерой затем дополняет это условие токенами движения камеры, извлеченными из референсного видео. Сосредоточьтесь в тексте на объекте, окружении, освещении и направлении искусства; оставьте движения камеры референсу, чтобы руководство не конфликтовало. Вы можете экспериментировать с тоном и стилем, не касаясь референса каждый раз.
Модели#
Рабочий процесс загружает базовую модель LTX-2.3, применяет патч внимания, дружественный к производительности, и разбиение на части для больших разрешений, и внедряет IC-LoRA с помощью LTXICLoRALoaderModelOnly (#5924). Это сохраняет практическое использование VRAM, сохраняя при этом точность и согласованность движения. IC-LoRA также выставляет скрытый коэффициент уменьшения масштаба, который график использует для балансировки скорости и деталей. Думайте о этой группе как о рабочем двигателе LTX 2.3 IC-LoRA Управление Камерой.
Выборка#
SamplerCustom (#561) запускает процесс удаления шума с использованием выбранного в KSamplerSelect (#154) сэмплера и настроенного вручную графика сигмы. Во время выборки LTXAddVideoICLoRAGuide (#5899) объединяет условие подсказки, якорь внешнего вида и референсный путь камеры в скрытый. После завершения удаления шума скрытые видео и аудио разделяются и декодируются, затем VHS_VideoCombine (#604) объединяет кадры и аудио на выбранной вами частоте кадров. В итоге вы получаете готовый к обмену MP4, который содержит как описанный вами контент, так и движение камеры, которое вы указали. Если камера кажется слишком жесткой или слишком свободной, отрегулируйте силу движения и повторите выборку.
Пустое Аудио#
Создается выровненное скрытое аудио, чтобы LTX-2.3 мог синтезировать звук в синхронизации с сгенерированным видео. Это дает вам окружающие, фоли-подобные треки, которые соответствуют времени движения без дополнительной работы. Если вы планируете озвучивать клип в постпродакшн, вы можете игнорировать сгенерированное аудио и заглушить или заменить его позже. Для тестов движения оставление аудио включенным может помочь вам оценить время и интенсивность.
Основные узлы в рабочем процессе Comfyui LTX 2.3 IC-LoRA Управление Камерой#
VHS_LoadVideo (#5983)#
Загружает референсный клип, который предоставляет движение камеры. Используйте его, чтобы выбрать точный сегмент, траекторию которого вы хотите перенести, и выровнять эффективную частоту кадров с вашей целью. Короткие, стабильные, однокадровые вводы дают наиболее предсказуемую передачу движения. При необходимости обрежьте референс или уменьшите лимит кадров для более быстрой итерации.
LTXICLoRALoaderModelOnly (#5924)#
Встраивает адаптер LTX 2.3 IC-LoRA Управление Камерой в базовую модель и выставляет скрытый коэффициент уменьшения масштаба, который график использует для эффективности. Увеличьте его силу, чтобы более строго придерживаться референсного пути камеры; уменьшите его, когда вы хотите, чтобы подсказка ослабила движение. Держите версии модели и адаптера совпадающими для лучших результатов. Изменение адаптеров в середине проекта изменит то, как интерпретируется камера.
LTXAddVideoICLoRAGuide (#5899)#
Прикрепляет руководство IC-LoRA к условию и скрытому. Ключевой контроль здесь — сила движения, которая определяет, насколько точно сгенерированная камера следует за референсом. Повышайте её для точных переносов и технических совпадений, снижайте её для творческих интерпретаций. Сочетайте с сильной подсказкой объекта, чтобы сохранить композицию, позволяя при этом микро-вариации.
LTXVImgToVideoConditionOnly (#5904)#
Преобразует неподвижное изображение в руководство только по внешнему виду, не накладывая движение, идеально для фиксации персонажа, палитры или направления искусства. Увеличьте приверженность, если первый кадр отклоняется от вашего неподвижного изображения, уменьшите её, если вид слишком ограничен. Этот узел является необязательным; опустите неподвижное изображение, когда вы хотите, чтобы подсказка и IC-LoRA полностью управляли видом.
SamplerCustom (#561)#
Запускает удаление шума с использованием выбранного вами сэмплера и графика сигмы. Сочетайте сэмплеры, такие как euler_ancestral_cfg_pp из KSamplerSelect (#154) с предоставленным графиком сигмы для сбалансированных деталей и временной стабильности. Если вы сильно увеличите силу движения, рассмотрите более мягкие графики, чтобы избежать избыточной коррекции. Повторите семплирование, чтобы исследовать альтернативы, сохраняя тот же путь камеры.
VHS_VideoCombine (#604)#
Объединяет декодированные кадры и аудио в MP4 для предварительного просмотра или доставки. Используйте его для установки формата и частоты кадров вывода, чтобы соответствовать вашему пайплайну. Для ежедневников экспортируйте с более высокой компрессией; для финализации повышайте качество, чтобы сохранить выделенные детали и ритм движения. Выход включает метаданные, чтобы вы могли отслеживать настройки позже.
Дополнительные возможности#
- Для чистых переносов в LTX 2.3 IC-LoRA Управление Камерой выберите референс с одним, непрерывным движением, минимальным движением объекта и без разрезов.
- Соответствуйте целевой частоте кадров и длительности вашему референсу для 1:1 синхронизации; отклоняйтесь намеренно, если хотите медленные или быстрые версии.
- Держите подсказки сосредоточенными на контенте и стиле; позвольте IC-LoRA управлять языком камеры, чтобы избежать противоречивых сигналов.
- Если вы видите артефакты по краям, попробуйте немного уменьшить размер длинной стороны или более мягкий сэмплер для улучшения стабильности.
- Исследуйте ресурсы и примеры LTX, чтобы углубить понимание поведения модели и управления: Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl.
Признания#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим Innovate Futures @ Benji за LTX 2.3 IC-LoRA Управление Камерой Workflow Source за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA Управление Камерой Workflow Source
- Документы / Заметки о выпуске: LTX 2.3 IC-LoRA Управление Камерой Workflow Source
Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
