MiniMax H3 8-ступенчатое ускорение | Все в одном рабочий процесс для видео

MiniMax H3 8-ступенчатое ускорение: Все в одном мультимодальная генерация видео с родным аудио#

MiniMax H3 8-ступенчатое ускорение — это всеобъемлющий рабочий процесс ComfyUI для создания кинематографического видео с синхронизированным родным аудио. Через унифицированный узел MiniMaxH3Unified он поддерживает ссылки на изображения, видео, видео с сопровождающим аудио и автономные аудиоссылки в одном упрощенном рабочем процессе.

Готовый к запуску пример использует одно изображение и текстовую подсказку с ориентацией на движение, но ссылка на видео — это только один способ использования рабочего процесса. Его унифицированный мультимодальный дизайн поддерживает различные комбинации визуальных и аудио подсказок без необходимости в отдельных схемах рабочего процесса для каждого типа ввода.

Рабочий процесс сочетает в себе основу MiniMax H3 FL2VA с LightX2V Turbo LoRA и компактным 8-ступенчатым двухпроходным графиком выборки. Он разработан для кинематографических съемок персонажей, диалоговых сцен, атмосферных микроисторий и других мультимодальных видеозадач, которые выигрывают от быстрой итерации и синхронизированного родного аудио.

Ключевые модели в рабочем процессе ComfyUI MiniMax H3 8-ступенчатое ускорение#

• Официальные веса MiniMax-H3. Аудиовизуальная диффузионная основа, которая генерирует видео и родное аудио из подсказок и мультимодальных ссылок. MiniMaxAI/MiniMax-H3
• Видео VAE и аудио VAE MiniMax H3. Парные кодировщики и декодеры, используемые для перехода между пространством пикселей, аудиоволнами и латентами H3. Включены в дистрибутив Comfy-Org. Comfy-Org/MiniMax-H3
• Текстовый кодировщик Qwen3-VL 32B (AWQ, MiniMax-тюнинг). Обеспечивает языковую и визуальную основу для подсказок и ссылок при управлении MiniMax H3. Распространяется с пакетом Comfy-Org MiniMax H3. Comfy-Org/MiniMax-H3
• LightX2V MiniMax H3 Turbo LoRA. Скоростная LoRA, которая сужает траектории, чтобы H3 мог эффективно сходиться при 8-ступенчатом графике. lightx2v/Minimax-h3-Turbo
• MiniMax H3 Latent Upscaler 3D. Латентный увеличитель разрешения, используемый между проходами для увеличения пространственной детализации без нарушения синхронизации аудио.

Как использовать рабочий процесс ComfyUI MiniMax H3 8-ступенчатое ускорение#

На высоком уровне рабочий процесс собирает подсказки и мультимодальные ссылки через один унифицированный узел ввода, создает компактный 8-ступенчатый график и запускает быструю проходку с высоким сигма для установления движения и структуры сцены. Затем он может увеличить разрешение видео латентного в 3D перед запуском проходки с низким сигма, декодировать синхронизированное аудио и видео и экспортировать результат как MP4.

Входы и размер#

Используйте Resolution Selector (Size) (#115) для выбора целевой ширины и высоты. Введите описание сцены в Input Text (Prompt) (#217); вы можете включить цитируемый диалог, если хотите, чтобы в сгенерированном клипе были произнесенные слова.

Универсальный узел MiniMaxH3Unified (#212) действует как мультимодальный центр ссылок рабочего процесса. Он поддерживает ссылки на изображения, ссылки на видео, видео с аудио и автономные аудиоссылки, вместе с управлением подсказками, размером и продолжительностью.

Включенный пример настроен с одной ссылкой на изображение и подсказкой движения для немедленного использования. Вы можете заменить это изображение или настроить другой поддерживаемый тип ссылки внутри того же унифицированного узла без перестройки стадий выборки, увеличения разрешения, декодирования или экспорта.

Вы можете установить duration в MiniMaxH3Unified или переключить auto_length_from_audio, когда используете внешнюю аудиоссылку для управления таймингом.

Настройка модели и патчи ускорения#

UNETLoader (#127) загружает контрольную точку MiniMax H3 FL2VA. MiniMaxH3MemoryEfficientSageAttentionPatch (#160) и ModelAttentionBackend (#168) затем активируют VRAM-дружественный бэкэнд внимания.

MiniMaxH3SigmaShift (#207) выравнивает горизонты денойзинга видео и аудио для коротких графиков. LoraLoaderModelOnly (#167) применяет LightX2V Turbo LoRA, что позволяет MiniMax H3 8-ступенчатое ускорение без необходимости в отдельной графике ускорения.

8-ступенчатый график#

BasicScheduler (#163) строит компактную траекторию, которая тонко настраивается ExtendIntermediateSigmas (#220) и H3SigmaRefiner (#209) для аудиовизуальной динамики H3.

SplitSigmas (#197) делит график на блок с высоким сигма для структуры и блок с низким сигма для деталей. Один RandomNoise (#129) seed питает оба прохода, чтобы помочь сохранить движение и аудио согласованными.

Первичная выборка: высокие сигмы#

Блок с высоким сигма поступает в SamplerCustomAdvanced (#125), управляемый BasicGuider (#126) с положительной кондицией от MiniMaxH3Unified (#212).

Этот проход устанавливает композицию, каденцию движения и грубую аудиоподложку внутри унифицированного аудиовизуального латентного. Его денойзированный вывод затем готовится к улучшению в середине конвейера.

Увеличение разрешения в латентном пространстве#

LTXVSeparateAVLatent (#199) разделяет аудиовизуальный латентный, чтобы только видеоканалы увеличивались MinimaxH3LatentUpscaler3D (#226). Аудиолатентный остается нетронутым для сохранения синхронизации.

LTXVConcatAVLatent (#198) затем объединяет улучшенный видеолатентный с оригинальным аудиолатентным, создавая более четкий, но все еще синхронизированный аудиовизуальный латентный для доработки.

Вторичная выборка: низкие сигмы#

Объединенный латентный дорабатывается в SamplerCustomAdvanced (#177) с использованием блока с низким сигма и BasicGuider (#178).

Этот проход добавляет поверхностные детали, очищает черты лица и полирует текстуры аудио, сохраняя движение и тайминг, установленные во время первого прохода.

Декодирование и экспорт#

VAEDecode (#186) преобразует видеолатенты в кадры, в то время как VAEDecodeAudio (#185) восстанавливает родной аудиотрек.

VHS_VideoCombine (#189) объединяет результаты в MP4 с выбранной частотой кадров — по умолчанию 24 кадра в секунду — создавая готовый к обмену аудиовизуальный клип.

Ключевые узлы в рабочем процессе ComfyUI MiniMax H3 8-ступенчатое ускорение#

• MiniMaxH3Unified (#212). Центральный всеобъемлющий мультимодальный узел ссылок для MiniMax H3. Он объединяет ссылки на изображения, видео, видео-аудио, автономные аудио, подсказки, размер и управление продолжительностью в одном узле, позволяя различным задачам ссылок H3 использовать ту же ускоренную генерационную линию.
• H3SigmaRefiner (#209). Корректирует график, чтобы отдать предпочтение частям траектории, где H3 получает наибольшую выгоду. Если вам нужны более четкие детали с той же скоростью, добавьте немного доработки; если вы приоритетом ставите максимальную пропускную способность, держите его минимальным.
• SplitSigmas (#197). Делит компактный график на план из двух проходов. С 8-ступенчатым графиком, разделение в середине баланса скорости и качества; перемещение разделения выделяет больше шагов либо структуре, либо деталям.
• MiniMaxH3SigmaShift (#207). Смещает диапазоны сигма для видео и аудио, чтобы они чисто сходились при коротких графиках. Оставьте предоставленные смещения без изменений, если вы не понимаете их влияние на синхронизацию и стабильность.
• LoraLoaderModelOnly (#167). Применяет LightX2V Turbo LoRA. Более низкая сила смягчает эффект Turbo для более мягкого движения; более высокая сила может увеличить резкость, но может чрезмерно акцентировать текстуры.
• MinimaxH3LatentUpscaler3D (#226). Увеличивает пространственные детали между проходами, сохраняя аудиолатентный нетронутым. Используйте умеренный mode.scale для выходов типа 720p или больший множитель для 1080p, когда позволяет VRAM.
• VHS_VideoCombine (#189). Обрабатывает окончательное объединение и экспорт. Настройте frame_rate, установите префикс имени файла и, при необходимости, используйте обрезку или петлевое воспроизведение для предварительного просмотра.

Дополнительные возможности#

• Мультимодальные ссылки. Используйте унифицированный узел H3 для работы с ссылками на изображения, ссылки на видео, видео с аудио или автономные аудиоссылки без перехода на отдельную графику генерации.
• Быстрые подсказки. MiniMax H3 хорошо реагирует на кинематографические глаголы и язык камеры. Краткие, специфические подсказки, такие как "медленное приближение", "ручное покачивание" или цитируемая строка диалога, обычно дают более сильное движение и более чистую речь.
• Сокращенные разрешения. 0.4 MP с увеличением латентного в 1.6x попадает в область 720p. Первый проход 0.5 MP с увеличением в 2x попадает в область 1080p. Если вы достигаете пределов VRAM, уменьшите количество мегапикселей перед изменением графика шагов.
• Советы по стабильности. Оставьте тот же seed для воспроизводимых дублей. Измените только seed для быстрых вариаций, сохраняя остальное направление времени и сцены.
• Когда обойти увеличитель разрешения. Если вы приоритетом ставите скорость или память, установите множитель увеличителя латентного на 1, чтобы эффективно пропустить этап улучшения.
• Подходящие сценарии. Этот рабочий процесс MiniMax H3 8-ступенчатое ускорение хорошо работает для средне-близких съемок персонажей, диалогов с фоновым звуком, аудиовизуальных ссылок на сцены, коротких атмосферных ритмов и мультимодальных видеозадач, где важна быстрая итерация.

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы благодарны RunningHub за ссылку на рабочий процесс, MiniMaxAI за официальную модель MiniMax-H3, Comfy-Org за веса модели MiniMax-H3 и lightx2v за MiniMax H3 Turbo LoRA.

Для получения авторитетных подробностей, информации о лицензировании и условиях использования модели обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы#

• Исходный код и ссылка на рабочий процесс RunningHub
  • Документы / Примечания к выпуску: Workflow source and reference
• MiniMaxAI/MiniMax-H3
  • Hugging Face: MiniMaxAI/MiniMax-H3
• Comfy-Org/MiniMax-H3
  • Hugging Face: Comfy-Org/MiniMax-H3
• lightx2v/Minimax-h3-Turbo
  • Hugging Face: lightx2v/Minimax-h3-Turbo

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.