3D Movie Pipeline | Создатель Кинематографических Видео

3D Movie Pipeline для ComfyUI#

3D Movie Pipeline — это ориентированный на производство рабочий процесс ComfyUI от Mickmumpitz.ai, который превращает структурированные проходы 3D сцен в кинематографическое AI видео. Он сочетает глубинные макеты, глиняные рендеры, движения камеры и опциональные маски рта с видео моделью LTX‑2.3, чтобы сохранить пространственный макет, линзирование и непрерывность, пока вы управляете движением, внешним видом и временем.

Создан для режиссеров, аниматоров и визуальных рассказчиков, 3D Movie Pipeline упрощает многокадровое производство. Вы получаете управление размещением кадров, продвинутое внимание для руководства объектами и регионами, опциональную синхронизацию губ по голосовой дорожке и вспомогательный этап изображения для быстрого предварительного просмотра внешнего вида, все внутри ComfyUI.

Ключевые модели в рабочем процессе Comfyui 3D Movie Pipeline#

Основной видео стек

• LTX‑2.3 (22B) от Lightricks. Основная модель генерации видео, которая следует за текстом, управляющими сигналами и 3D руководствами для синтеза временно согласованных кадров. Model card
• LTX Audio VAE (в комплекте с LTX‑2.3). Кодирует и декодирует аудио как латентное аудио, чтобы модель могла синхронизировать формы рта и движение с речью. Model bundle
• Gemma 3 12B Instruct текстовый энкодер для LTX‑2.x. Обеспечивает языковое встраивание, используемое LTX‑2.3 для подсказок. Упакован для ComfyUI. Files
• LTX‑2.3 Distilled LoRA 384‑1.1. Ускоряет выборку с несколькими шагами и стабилизирует внешний вид при использовании с контрольной точкой разработчика. LoRA
• LTX‑2 19B IC‑LoRA Detailer. Улучшает локальные детали и точность краев в сгенерированном видео. LoRA
• LTX‑2.3 OmniNFT RL LoRA. Помощник по усилению стиля и согласованности для видео стека. LoRA
• IC‑LoRA Union‑Control (ref 0.5). Справочная выравнивающая LoRA, используемая для сохранения верности цвета и структуры руководствам; сборка 19B часто предпочитается для LTX‑2.3. LoRA family

Опциональный стек изображения для предварительного просмотра

• FLUX.2 Klein 9B (FP8). Быстрый генератор изображений, используемый здесь для превращения Canny + Depth в стилизованное изображение для разработки внешнего вида. Model card
• Qwen 3 8B текстовый энкодер для FLUX‑2. Files
• Flux‑2 VAE. Изображение VAE, соответствующее FLUX‑2. Files
• Flux2‑Klein‑9B‑Consistency‑V2 LoRA. Улучшает согласованность цвета и содержания в кадрах предварительного просмотра. LoRA

Справочная реализация узлов LTX для ComfyUI: ComfyUI‑LTXVideo

Как использовать рабочий процесс Comfyui 3D Movie Pipeline#

3D Movie Pipeline объединяет три входа из вашего DCC или инструмента макета — Depth movie, Clay/Layout movie и опциональное Mouth Mask movie, затем запускает LTX‑2.3 с продвинутым вниманием, справочными кадрами и опциональной синхронизацией губ для рендеринга финального кадра. Ветка предварительного просмотра изображения с FLUX.2 помогает вам настроить внешний вид до того, как вы решите сделать полный проход.

Разрешение и настройка кадра#

Используйте ResolutionPicker (#6082), чтобы установить вашу рабочую ширину и высоту. Рабочий процесс ожидает размеры, делимые на 64 для эффективной тайлинга и стабильного внимания. Сохраняйте тот же аспект для всех входов, чтобы 3D Movie Pipeline мог выровнять проходы без непреднамеренных обрезок или черных полос. Если хотите быстрые тесты, уменьшите количество кадров с помощью FRAME LOAD CAP (#6214).

Входные кадры (Начало, Средина, Конец)#

Загрузите справочные изображения в START (LoadImage (#6108)), MIDDLE (#6139) и END (#6102). Рабочий процесс считывает их размер с помощью GetImageSize+ (#6071) и изменяет размер руководств соответственно. Эти кадры могут быть размещены на определенных индексах в временной шкале, чтобы зафиксировать ключевые позы, установить сюжетные ритмы или вызвать переход внешнего вида. 3D Movie Pipeline использует эти справочные материалы в качестве якорей, пока он интерполирует движение и непрерывность между ними.

Проходы рендеринга: Depth, Clay/Layout, Mouth Mask#

• DEPTH (VHS_LoadVideo (#5893)) загружает ваше depth movie из 3D приложения. Это направляет перспективу, окклюзию и объемное размещение, чтобы LTX‑2.3 уважала движения камеры и блокировку.
• CLAY / LAYOUT (VHS_LoadVideo (#6094)) предоставляет плоский или серый рендер для управления силуэтами, дизайном сцены и световыми подсказками. Проход Canny edge (CannyEdgePreprocessor (#6095)) выводится из него, чтобы усилить структурное руководство.
• MOUTH MASK (VHS_LoadVideo (#6059)) является опциональным и отмечает область рта для каждого кадра. 3D Movie Pipeline использует его в качестве маски внимания, чтобы движение губ могло быть уточнено без нарушения остальной части лица.

Регулировка маски рта#

Если вы предоставляете видео с маской, ImageToMask (#6060) преобразует кадры в маски, а GrowMaskWithBlur (#6197) расширяет и смягчает края для более прощающей дорисовки. USE MASK VIDEO? (#6244) позволяет переключаться между сгенерированной сплошной маской и входящим видео с маской. Это удерживает правки синхронизации губ в узком диапазоне и уменьшает артефакты за пределами области рта.

Сборка управляющего видео#

Потоки глубины и макета нормализуются с помощью ImageResizeKJv2 (#6097, #6099, #6103). BatchColorCorrector (#6100) балансирует тональность и цвет, чтобы модель видела согласованное экспонирование и палитру на протяжении всей последовательности. Затем 3D Movie Pipeline смешивает контур Canny с исправленным макетом с помощью ImageBlend (#6096), чтобы сформировать единое управляющее видео, которому следует генератор.

Озвучка#

Добавьте повествование или диалог с помощью LoadAudio (#5883). Оно направляется к модели через Set_VoiceOver (#6248) и Get_VoiceOver (#6249). Когда синхронизация губ включена в выборщике, 3D Movie Pipeline использует это аудио для синхронизации форм рта и микродвижения с произнесенным контентом.

Генерация с помощью LTX‑2.3#

Узел выборщика LTX 2.3 (#6202) является сердцем 3D Movie Pipeline. Он получает модель, текстовый энкодер, VAE и аудио VAE; смешанное управляющее видео; опциональную маску внимания; и вашу подсказку из PROMPT (#6203). Переключатели позволяют размещать кадры Начало/Средина/Конец в определенных позициях, смешивать их влияние, включать или обходить управляющие сигналы и включать синхронизацию губ. Продвинутый путь внимания проходит через узлы руководства LTX видео, чтобы взвешивать кадры и регионы так, чтобы важные предметы оставались на модели.

Вывод#

Узел записывает готовый к редактированию фильм с помощью SaveVideo (#6109). Для альтернативных рабочих процессов или предварительных просмотров бок о бок, рабочий процесс также включает VHS_VideoCombine (#6057). Используйте ту же частоту кадров на всех этапах, чтобы сохранить идеальное совпадение аудио, маски и руководства в 3D Movie Pipeline.

Опциональный предварительный просмотр изображения с FLUX.2#

Для быстрого разработки внешнего вида без повторного рендеринга полного кадра, ветка изображения загружает Canny (CANNY (#7468)) и Depth (DEPTH (#7469)) кадры, смешивает их (ImageBlend (#7466)) и вызывает FLUX.2 Klein 9B (SAMPLER (#7465)). LoRA для согласованности помогает сохранять цвета и детали верными вашим руководствам. Используйте SaveImage (#7444), чтобы экспортировать кадры предварительного просмотра, которые информируют вашу подсказку и выбор LoRA перед запуском полного 3D Movie Pipeline.

Ключевые узлы в рабочем процессе Comfyui 3D Movie Pipeline#

LTX 2.3 (#6202)

• Роль: Основной генератор видео, который объединяет текст, 3D руководства, управляющие проходы и аудио в финальную последовательность.
• Что настраивать: Включайте синхронизацию губ, когда предоставляете аудио; переключайте руководство в стиле ControlNet и настраивайте общую силу; размещайте кадры START, MIDDLE и END и смешивайте их влияние, чтобы зафиксировать важные ритмы. Сохраняйте частоту кадров постоянной с вашими входами, чтобы избежать дрейфа времени.

DEPTH (#5893)

• Роль: Загружает видео глубины, которое устанавливает геометрию сцены и движение камеры.
• Что настраивать: Соответствуйте разрешению ResolutionPicker и сохраняйте ту же длину, что и у клипов макета и маски. Используйте FRAME LOAD CAP для быстрой итерации во время разработки внешнего вида.

CLAY / LAYOUT (#6094)

• Роль: Предоставляет макет или глиняный рендер, используемый для извлечения краев и управления композицией, намерением освещения и силуэтами.
• Что настраивать: Согласуйте с разрешением прохода глубины; если вы изменяете градацию выше по течению, повторно запускайте BatchColorCorrector, чтобы руководство оставалось согласованным.

USE MASK VIDEO? (#6244)

• Роль: Переключает между сгенерированной сплошной маской рта и входящим видео с маской.
• Что настраивать: Используйте видео маску, когда синхронизация губ требует точности по кадрам; переключайтесь на сплошную маску, когда вам нужна только широкая защищенная область.

LTXICLoRALoaderModelOnly (#6223)

• Роль: Загружает союзный контроль IC‑LoRA, используемый для справочного выравнивания и верности цвету/структуре.
• Что настраивать: Выберите вариант, который лучше всего соответствует LTX‑2.3 в ваших тестах; многие производства предпочитают сборку 19B для более строгого соблюдения при запуске 3D Movie Pipeline.

Опциональные дополнения#

• Сохраняйте все входы одинаковой длительности и частоты кадров, чтобы сохранить синхронизацию в 3D Movie Pipeline.
• Глубина должна быть чистой и временно стабильной. Если ваш DCC экспортирует EXR или 16‑битный PNG, конвертируйте один раз в промежуточный формат и используйте его для всех итераций.
• Кадры Начало/Средина/Конец работают лучше всего, когда они показывают отличительные, сюжетно значимые позы или состояния освещения; избегайте почти дубликатов.
• Если область рта мерцает, слегка расширьте маску в GrowMaskWithBlur, чтобы включить губы, зубы и тонкую границу кожи.
• Для крупных кадров итерация с FRAME LOAD CAP и меньшим разрешением, затем переключитесь обратно на полное разрешение для финалов.
• При переключении с контрольной точки разработчика на дистиллированную контрольную точку отключите дистиллированную LoRA, чтобы избежать избыточного ограничения.
• Используйте ветку предварительного просмотра FLUX.2, чтобы протестировать палитру и стиль с вашими фактическими руководствами Canny и Depth перед запуском полного 3D Movie Pipeline.

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарны MickMumpitz.ai за источник рабочего процесса 3D Movie Pipeline за их вклад и поддержку. За авторитетными деталями, пожалуйста, обратитесь к оригинальной документации и репозиториям, связанным ниже.

Ресурсы#

• MickMumpitz.ai/3D Movie Pipeline Workflow Source
  • Документы / Примечания к выпуску: 3D Movie Pipeline Workflow Source

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.