LTX 2.3 IC-LoRA: Генерация видео с отслеживанием движения в ComfyUI
Этот рабочий процесс приносит систему LTX 2.3 IC-LoRA в ComfyUI, чтобы вы могли управлять движением и структурой сцены, свободно стилизуя с помощью подсказок или дополнительных LoRAs. Он настраивает генератор видео LTX-2.3 на основе референсных сигналов, таких как глубина, поза и края, что позволяет передавать движение, фиксировать камеру и предсказуемо составлять композицию.
Создатели, работающие над видео-до-видео, повторным нацеливанием движения и управляемой AI-анимацией, обнаружат, что LTX 2.3 IC-LoRA отделяет контроль движения от визуального стиля. Вы управляете внешним видом с помощью текстовых и стилевых LoRAs, а движением - с помощью структурированных гидов, все это внутри одного графа ComfyUI.
Основные модели в рабочем процессе Comfyui LTX 2.3 IC-LoRA
- LTX-2.3 от Lightricks. Высококачественный латентный видео диффузионный трансформер, который генерирует временно согласованные последовательности и поддерживает кондиционирование для контроля структуры и движения. Hugging Face: Lightricks/LTX-2.3
- LTX 2.3 IC-LoRA union-control weights. Веса LoRA в контексте, предназначенные для внедрения структурированных сигналов управления в LTX-2.3 для точного контроля движения и геометрии. Поставляется с цепочкой моделей рабочего процесса и загружается перед генерацией.
- LTX-2.3 VAEs для видео и аудио. Латентные кодеры/декодеры, сопряженные с LTX-2.3 для сжатия и восстановления видео и аудио характеристик, используемых во время выборки. Предварительно настроены в графе и могут переключаться при использовании квантованных сборок. Примеры разделенных пакетов доступны здесь: Hugging Face: unsloth/LTX-2.3-GGUF
- Depth Anything V2. Надежная монокулярная оценка глубины, используемая для фиксации движения камеры или сохранения макета сцены во время генерации. Hugging Face: LiheYoung/Depth-Anything-V2
- DWPose. Легкий многопользовательский оценщик позы, используемый для перенаправления или сохранения движения персонажа через ключевые точки. Hugging Face: yzd-v/DWPose
Как использовать рабочий процесс Comfyui LTX 2.3 IC-LoRA
Граф организован в четкие группы. Вы готовите подсказки и референсное видео, выбираете один или несколько структурных гидов, затем генерируете и экспортируете.
Установите подсказки
Используйте CLIP Text Encode (Positive Prompt) (#2483) и CLIP Text Encode (Negative Prompt) (#2612), чтобы описать визуальный стиль и исключить нежелательные черты. Текстовые кодировщики загружаются в группу моделей и направляются в LTXVConditioning (#1241), который также получает рабочую частоту кадров, чтобы кондиционирование соответствовало времени вашего клипа. Сосредоточьтесь на внешнем виде, потому что LTX 2.3 IC-LoRA будет управлять движением и структурой.
Предобработка
Загрузите или передайте референсный клип в VHS_LoadVideo (#5182). Кадры изменяются в размере в ImageResizeKJv2 (#5080) и подаются в экстракторы гидов: DepthAnythingV2Preprocessor (#5064) для глубины, DWPreprocessor (#4986) для позы и CannyEdgePreprocessor (#4991) для краев. Узел изменения размера вниз по потоку обеспечивает соответствие карт гидов дружественным к модели кратным, а GetImageSize (#5029) записывает ширину, высоту и количество кадров для остальной части трубопровода. Полученная последовательность изображений гида сохраняется Set_video_controlnet (#5100) для потребления IC-LoRA.
Загрузите модели
Базовая модель и LoRAs собраны в этой группе. CheckpointLoaderSimple (#3940) загружает LTX-2.3; LoraLoaderModelOnly (#4922) применяет дистиллированную LTX LoRA для качества и скорости; LTXICLoRALoaderModelOnly (#5011) добавляет веса LTX 2.3 IC-LoRA и публикует требуемый латентный коэффициент уменьшения масштаба. VAEs для видео и аудио загружаются, и Boolean - Use GGUF? (#5158) может переключаться на квантованную сборку GGUF через GGUFLoaderKJ (#5150) с совместимыми текстовыми кодировщиками и VAEs, когда VRAM ограничен.
Загрузите изображение (установите bypass=True, если t2v)
Если вы хотите закрепить композицию с помощью неподвижного референса или первого кадра, используйте LoadImage (#2004). Он изменяется в размере ImageResizeKJv2 (#5076) и предварительно просматривается для быстрой проверки. Булев bypass_i2v управляет тем, используется ли изображение вообще; установите его в True для чистого текст-до-видео с LTX 2.3 IC-LoRA.
Генерация
EmptyLTXVLatentVideo (#3059) создает латентное полотно. Если якорение изображения включено, LTXVImgToVideoConditionOnly (#3159) вводит только структурную информацию из вашего изображения без запекания стиля. Основной шаг происходит в LTXAddVideoICLoRAGuide (#5012), который присоединяет выбранную вами последовательность гида к модели, используя латентный коэффициент уменьшения масштаба из загрузчика IC-LoRA. Аудио кондиционирование также проходит в латентное через LTXVEmptyLatentAudio (#3980) или пользовательский аудиопуть. CFGGuider (#4828), KSamplerSelect (#4831), ManualSigmas (#5025) и SamplerCustomAdvanced (#4829) затем выполняют денойзинг для синтеза окончательного латентного видео, соблюдая как подсказки, так и управления LTX 2.3 IC-LoRA.
Декодирование
LTXVSeparateAVLatent (#4845) разделяет сгенерированные аудио и видео латенты для декодирования. LTXVCropGuides (#5013) выравнивает и обрезает при необходимости, затем VAEDecodeTiled (#4851) эффективно восстанавливает кадры. VHS_VideoCombine (#5070) смешивает кадры в MP4, используя аудио референсного клипа по умолчанию. Вы также можете декодировать сгенерированный аудиолатент с помощью LTXVAudioVAEDecode (#4848), если хотите прослушать его отдельно.
Подготовьте референсное видео
Эта вспомогательная область показывает трубопровод референсных кадров. VHS_VideoInfoLoaded (#5073) извлекает fps и продолжительность, которые передаются на узлы кондиционирования и экспортерам, чтобы синхронизация оставалась в порядке. Небольшой узел комбинирования предоставляет быструю визуальную предварительную проверку последовательности источника для проверки здравомыслия.
Пользовательское аудио
Если вы хотите генерацию с учетом аудио, референсное аудио кодируется с помощью LTXVAudioVAEEncode (#5146), и простая маска применяется в SetLatentNoiseMask (#5148). Переключатель с названием Switch - Custom Audio? (#5149) выбирает между пустыми или закодированными аудиолатентами перед конкатенацией в LTXVConcatAVLatent (#4528). Окончательный экспорт все еще использует референсное аудио по умолчанию; если вы предпочитаете декодированное аудио из модели, направьте выход LTXVAudioVAEDecode на аудиовход экспортера.
Официальная настройка сигмы LTX
Узел расписания ManualSigmas (#5025) определяет сжатый профиль сигмы, настроенный для LTX-2.3, и SigmasPreview (#5142) визуализирует его, чтобы вы могли рассуждать о распределении шума с течением времени. Это позволяет вам обменивать скорость на детализацию, сохраняя характерную временную стабильность LTX 2.3 IC-LoRA.
Основные узлы в рабочем процессе Comfyui LTX 2.3 IC-LoRA
LTXICLoRALoaderModelOnly(#5011). Загружает веса LTX 2.3 IC-LoRA и выводит латентный коэффициент уменьшения масштаба, необходимый для инжектора гида. Если вы добавляете дополнительные стилевые LoRAs, разместите их перед этим загрузчиком, чтобы сохранить доминирование управления движением.LTXAddVideoICLoRAGuide(#5012). Точка, где последовательности глубины, позы или краев входят в модель в качестве гидов в контексте. Настройте его силу для баланса между строгим следованием структуре и стилистической свободой от вашей подсказки и стилевых LoRAs.LTXVImgToVideoConditionOnly(#3159). Обеспечивает дополнительное кондиционирование изображения-видео, которое передает только композицию и грубую структуру из неподвижного изображения. Используйте его переключательbypass, когда переключаетесь между i2v и чистым текст-до-видео.CFGGuider(#4828). Управляет тем, насколько сильно модель следует вашим подсказкам относительно гида LTX 2.3 IC-LoRA. Увеличьте руководство, когда важна точность стиля, уменьшите его, чтобы сохранить движение и геометрию с минимальным дрейфом.SamplerCustomAdvanced(#4829) сManualSigmas(#5025). Компактное расписание и многократный сэмплер, которые обеспечивают хорошую временную согласованность для LTX-2.3. Если вы изменяете расписание, держите его плавно уменьшающимся и тестируйте короткие клипы перед более длинными рендерами.
Дополнительные опции
- Выберите правильный гид. Используйте глубину для фиксации камеры и макета, позу для движения персонажа и края для жестких объектов или чистых силуэтов. Возможна комбинация двух гидов, если они описывают разные аспекты.
- Держите размеры дружественными к сэмплеру. Предобработчики уже округляют размеры до дружественных к модели кратных; держите ваш источник близким к целевому соотношению сторон, чтобы минимизировать заполнение.
- Стиль без нарушения движения. Добавьте легкий стилевой LoRA перед загрузчиком IC-LoRA и держите его вес умеренным, чтобы LTX 2.3 IC-LoRA мог сохранять геометрию и временные характеристики.
- Режим низкого VRAM. Переключите Use GGUF, чтобы использовать квантованную дистиллированную модель и соответствующие текстовые кодировщики/VAEs из пакета GGUF, если ваш GPU ограничен. Hugging Face: unsloth/LTX-2.3-GGUF
- Стабильная синхронизация. Частота кадров, считанная из референсного видео, внедряется в кондиционирование и экспортеры, чтобы движение и аудио оставались синхронизированными. Если вы переопределяете fps, делайте это последовательно в кондиционировании и экспорте.
Благодарности
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы выражаем искреннюю благодарность @Benji’s AI Playground of LTX 2.3 IC-LoRA Source за предоставление исходных материалов и руководства. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы
- LTX 2.3 IC-LoRA Source
- Документы / Заметки о выпуске: YouTube @Benji’s AI Playground
Примечание: Использование указанных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.
