Blender to ComfyUI AI Renderer 2.0 | Создатель видео с движением

Blender to ComfyUI AI Renderer 2.0

Blender to ComfyUI AI Renderer 2.0 превращает выходные данные Blender в кинематографическое, управляемое запросами AI видео, сохраняя движение и компоновку сцены. Он читает структуру из глубины, контуров или проходов поз и использует это для управления генерацией видео Wan VACE, чтобы ваш конечный материал оставался согласованным с первоначальным намерением анимации. Рабочий процесс также включает быстрый путь для неподвижных изображений для разработки внешнего вида и проверки ключевых кадров, что делает его идеальным для аниматоров, специалистов по визуальным эффектам, команд предварительной визуализации и создателей контента.

В своей основе, Blender to ComfyUI AI Renderer 2.0 создает или поглощает контрольные видео, объединяет их с начальными или контрольными кадрами и рендерит согласованную последовательность с высокой временной стабильностью. Вы получаете творческий контроль через запросы и контрольные изображения, при этом глубина и края сохраняют композицию и движение.

Основные модели в рабочем процессе Comfyui Blender to ComfyUI AI Renderer 2.0

• Wan 2.1 VACE 14B (SkyReels V3 R2V merge). Базовое видео-диффузионное использование для генерации с учетом структуры и согласования движений. Контрольная точка размещена как объединение для VACE и SkyReels R2V, подходит для контроля от начала до конца и согласованности, направляемой контрольными кадрами. Model
• uMT5‑XXL текстовый энкодер для Wan 2.1. Обеспечивает высокую емкость текстового кодирования, упакованного для ComfyUI. Files
• Wan 2.1 VAE. Используется для чистого кодирования и декодирования видео латентов для канала Wan. Files
• Depth Anything 3 DA3‑BASE. Монокулярный оценщик глубины, используемый для получения высококачественного, временно согласованного контроля глубины из отснятого материала. Model
• Z‑Image Turbo. Быстрая основа диффузии изображений для исследования одиночных кадров с многоконтрольным кодированием. Model
• Z‑Image‑Fun ControlNet Union 2.1. Многоконтрольные веса для канни, глубины, поз и других при использовании пути Z‑Image Turbo. Model
• OpenPose (алгоритм). Классический 2D детектор ключевых точек, используемый для получения линий поз как дополнительного сигнала управления. Paper • GitHub

Как использовать рабочий процесс Comfyui Blender to ComfyUI AI Renderer 2.0

Рабочий процесс имеет два пути, которые вы можете запускать независимо или вместе. Сначала, путь Предварительной обработки создает контрольное видео из вашего материала (глубина, края или поза). Затем AI Renderer 2.0 объединяет начальные или контрольные изображения с этим контрольным видео для синтеза конечной последовательности. Отдельный путь Z‑IMAGE TURBO CN 1.0 позволяет быстро итерационно работать с неподвижными изображениями, которые отражают вашу стратегию управления.

• ВХОД ВИДЕО И ВЫБОР РАЗМЕРА (Предварительная обработка)
  • Эта группа импортирует видео и стандартизирует размеры и бюджетирование кадров для сборщика контрольных проходов. Узел VHS_LoadVideo (#32) считывает ваш клип и отображает информацию, такую как fps и количество кадров для нижестоящих узлов. Компактный блок настроек соединяет ширину, высоту и ограничения кадров, чтобы каждый нижестоящий предобработчик работал с одинаковым разрешением. Используйте это сначала, чтобы согласовать все выходы Предварительной обработки перед выбором типа управления.
• ГЛУБИНА (Предварительная обработка)
  • Эта группа преобразует входные кадры в последовательность карт глубины, используя DepthAnything_V3 (#37). Цель - сохранить геометрию сцены, чтобы последующая генерация видео уважала масштаб, перекрытие и параллакс. Внутренний узел изменения размера адаптирует карты к рабочему размеру, и блок сохранения может предварительно просмотреть контрольный клип. Выбирайте это, когда хотите сильную достоверность компоновки и движения камеры.
• КАННИ (Предварительная обработка)
  • Эта группа извлекает чистые линии краев с помощью CannyEdgePreprocessor (#39), чтобы обеспечить структуру без затенения. Края изменяются в соответствии с настройками проекта и могут быть сохранены как предварительный просмотр. Используйте это, когда вам нужны четкие силуэты, архитектурные линии или контроль, похожий на мультфильм, который сохраняет композицию, но позволяет гибкость стиля.
• ПОЗА (Предварительная обработка)
  • Эта группа вычисляет человеческие скелеты с помощью OpenposePreprocessor (#42), создавая легкие линейные фигуры для передачи движения. Это полезно, когда приоритетом является движение персонажа, и вы хотите, чтобы генеративные детали оставались согласованными с актёрским исполнением и таймингом. Как и в случае с другими типами управления, вывод изменяется по размеру и может быть предварительно просмотрен как короткое видео.
• Z‑IMAGE TURBO CN 1.0
  • Этот путь предназначен для быстрого исследования неподвижных изображений из одиночного кадра или загруженного изображения. QwenImageDiffsynthControlnet (#3) применяет Z‑Image Turbo с многоконтрольным патчем, управляемым запросом от CLIPTextEncode (#23). Используйте переключатель USE VIDEO? (#20), чтобы подать кадр из видео или изображение с диска; затем выберите и сохраните быстрый кадр, чтобы проверить ваш запрос, направление искусства или силу управления перед запуском полной последовательности.
• НАЧАЛЬНОЕ ИЗОБРАЖЕНИЕ (AI Renderer 2.0)
  • Эта группа принимает начальное изображение и до трех дополнительных контрольных изображений. Рабочий процесс автоматически изменяет их размер, при необходимости смешивает их и создает стек ссылок, который семенит видео для лучшей идентичности и согласованности стиля. Если присутствуют несколько контрольных изображений, небольшой логический блок отключает ввод начального кадра в сборщике от начала до конца VACE, чтобы ссылки имели приоритет.
• ВХОД ВИДЕО И ВЫБОР РАЗМЕРА (AI Renderer 2.0)
  • Эта вторая группа размеров управляет окончательным рендерингом. Она устанавливает ширину, высоту, fps и длину кадра, которые считываются нижестоящими узлами Wan. VHS_LoadVideo (#93 и #105) также может импортировать вспомогательный клип, чьи свойства используются для зеркалирования fps в финальном писателе выходов. Держите эту группу в синхронизации с вашим экспортом из Blender, чтобы избежать непреднамеренного повторного семплирования.
• ЗАГРУЗЧИКИ МОДЕЛЕЙ FP8
  • Здесь загружаются основные Wan 2.1 VACE UNet, uMT5‑XXL текстовый энкодер и Wan VAE, вместе с дополнительными весами LoRA. Эти загрузчики обеспечивают выполнение пути AI Renderer 2.0 с постоянной точностью, токенизатором и латентным кодеком. Меняйте модели здесь, чтобы изменить семейства стилей или контрольные точки, не касаясь остальной части графа.
• ОБРАЗЕЦ
  • Сердце Blender to ComfyUI AI Renderer 2.0. WanVideoVACEStartToEndFrame (#3261) формирует контрольное видео из начальных и контрольных изображений плюс выбранный контрольный проход, затем WanVacePhantomSimpleV2 (#3255) соединяет модель Wan, кодирование, контрольные изображения и сгенерированный контроль вместе. KSampler (#3253) рендерит согласованные кадры, затем VAEDecode и VHS_VideoCombine (#109) сохраняют MP4 с вашей целевой частотой кадров. Введите ваши положительные и отрицательные запросы один раз; тот же текст управляет всей последовательностью.

Основные узлы в рабочем процессе Comfyui Blender to ComfyUI AI Renderer 2.0

• WanVacePhantomSimpleV2 (#3255)
  • Организует генерацию Wan 2.1 VACE, маршрутизируя модель, VAE, запросы, контрольное видео и контрольные кадры. Настройте только основные параметры: рабочую ширину и высоту, чтобы соответствовать вашему контролю, и длину последовательности, чтобы соответствовать целевому кадру. Если вы используете несколько сильных ссылок, оставьте запросы описательными, а не чрезмерно специфичными, чтобы избежать борьбы с руководством по ссылкам.
• WanVideoVACEStartToEndFrame (#3261)
  • Строит контрольное видео, которое следует VACE. Предоставьте начальное изображение, дополнительный стек ссылок и предварительно обработанное контрольное видео. Установите количество кадров, используя правило Wan 4n+1, чтобы обрезка оставалась согласованной через образец; это избегает артефактов "на один меньше" в хвостовой части.
• PreprocessSwitch (#3239)
  • Выбирает, какой контрольный поток достигает образца. Переключайтесь между оригинальными кадрами, глубиной, канни или позой в зависимости от того, что вы экспортировали из Blender или создали в Предварительной обработке. Используйте глубину, когда вам нужна пространственная достоверность, канни для чистого контроля композиции и позу для движения, сосредоточенного на характере.
• VHS_LoadVideo (#93)
  • Обрабатывает ввод видео и раскрывает свойства кадров, используемые по всему графу. Это надежный способ поддерживать согласованность fps и размеров от Blender до рендеринга. Если вам нужно обрезать или пропустить начало и концы, сделайте это здесь, чтобы все нижестоящие пути оставались согласованными.
• KSampler (#3253)
  • Создает финальную латентную последовательность, учитывая модель Wan и кодирование. Если вы изменяете силу руководства или метод образца, перепроверьте первые и последние 10 кадров на стабильность, затем рендерьте полный кадр.

Дополнительные функции

• Вы можете заменить сгенерированный контрольный проход на собственные проходы рендеринга Blender. Подключите ваш проход глубины, контуров или позы в вход управления, используемый WanVideoVACEStartToEndFrame (#3261), чтобы управлять VACE напрямую из выходов Blender.
• Сохраните одинаковое соотношение сторон и fps между Blender и рабочим процессом. Писатель выходов зеркалирует fps из настроек ввода, чтобы редакционная синхронизация оставалась заблокированной.
• Для сохранения идентичности или стиля предоставьте несколько чистых контрольных изображений в НАЧАЛЬНОЕ ИЗОБРАЖЕНИЕ. Рабочий процесс будет отдавать приоритет набору ссылок и автоматически обрабатывать переключение начального кадра.

Этот рабочий процесс Blender to ComfyUI AI Renderer 2.0 позволяет оставаться верным компоновке и движению, используя запросы и ссылки для повышения производственной ценности. Используйте Предварительную обработку, чтобы решить, сколько структуры вы хотите сохранить, быстро подтвердите направление с Z‑IMAGE TURBO CN 1.0, затем уверенно рендерьте согласованные последовательности с AI Renderer 2.0.

Признания

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим @Mickmumpitz, создателей "Blender to ComfyUI AI Renderer 2.0 Source" за их рабочий процесс и руководство. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, связанным ниже.

Ресурсы

• Blender to ComfyUI AI Renderer 2.0 Source
  • Документы / Примечания к выпуску: YouTube @ Mickmumpitz

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.