MiniMax H3 ComfyUI Преобразование Ссылки в Видео 4-шаговый Турбо#
MiniMax H3 ComfyUI Преобразование Ссылки в Видео 4-шаговый Турбо — это готовый к RunComfy процесс преобразования ссылки в видео, который фиксирует одну или более идентичностей персонажей из статических изображений и генерирует короткий клип с нативным стерео аудио в одном ускоренном проходе. Он разработан для создателей, которым необходимо сохранять постоянство лиц, гардероба и постановки в сцене, сохраняя при этом движение камеры, диалоги и синхронизацию губ.
Этот граф использует ref2va pipeline MiniMax H3 плюс Турбо LoRA, так что идентичность, движение и речь нескольких субъектов остаются едиными без длительного стандартного расписания. Отметьте свои статические изображения с помощью <Picture N> внутри запроса, при необходимости добавьте референсное видео и аудио, и рендерите чистый клип прямо в ComfyUI на RunComfy.
Ключевые модели в Comfyui MiniMax H3 ComfyUI Преобразование Ссылки в Видео 4-шаговый Турбо#
- MiniMax-H3 Reference-to-Video модель диффузии (ref2va). Обеспечивает основную генеративную базу для кондиционирования на статические изображения, опциональное видео и текст для синтеза согласованных кадров. Веса доступны в упаковке Comfy-Org MiniMax-H3 на Hugging Face. Comfy-Org/MiniMax-H3
- MiniMax-H3 Video VAE. Кодирует и декодирует видео латенты, на которых работает сэмплер, сохраняя временную плавность и детализацию. Распространяется с тем же пакетом. Comfy-Org/MiniMax-H3
- MiniMax-H3 Audio VAE. Обрабатывает нативную стерео аудио дорожку совместно с видео, так что речь и атмосфера создаются с кадром. Включено вместе с видео компонентами. Comfy-Org/MiniMax-H3
- Qwen-VL 32B текстовый энкодер, настроенный для MiniMax-H3. Переводит запрос, включая метки <Picture N> и сценические указания, в сигналы кондиционирования, используемые H3. Упакован в выпуск Comfy-Org. Comfy-Org/MiniMax-H3
- MiniMax-H3 Turbo 4-step LoRA. Ускоряющий LoRA, который сжимает расписание, так что кадр может быть сгенерирован в быстром проходе, сохраняя идентичность и согласованность движения. larryvrh/MiniMax-H3-Turbo-Lora
Как использовать Comfyui MiniMax H3 ComfyUI Преобразование Ссылки в Видео 4-шаговый Турбо#
Рабочий процесс переходит от ссылок и времени к настройке модели, кондиционированию, сэмплингу и финальному мультиплексированию. Вы можете запускать его только с изображениями или комбинировать изображения с опциональным референсным видео и аудио.
Этап 1 — Ссылки, запрос и время#
Загрузите одно или более изображений через узлы LoadImage и планируйте ссылаться на них как <Picture 1>, <Picture 2> и так далее в вашем запросе. Если у вас есть направляющий клип, пропустите его через узлы VHS_LoadVideo; их аудио также может быть передано для руководства ритмом и энергией. Чтобы предоставить специальный диалог или атмосферу, используйте узлы LoadAudio в дополнение или вместо референсного видео аудио. Введите полное описание кадра в Input Text (Prompt) с любыми блокировками персонажей, движениями камеры и диалогами. Рабочий процесс автоматически преобразует желаемую продолжительность в стабильное количество кадров, выравнивая временную шкалу с внутренним шагом MiniMax H3.
Этап 2 — Настройка модели и турбо ускорение#
Основные H3 ref2va UNet, текстовый энкодер и видео и аудио VAE загружаются в "Core Workspace". Патч для памяти, экономящей внимание, позволяет создавать более крупные кадры или более высокое разрешение на типичных GPU без изменения вашего использования. Турбо 4-шаговый LoRA применяется LoraLoaderModelOnly (#164), так что вы можете сохранять низкое количество шагов, сохраняя при этом блокировку идентичности и движение. Ручное соединение не требуется; график предварительно подключен для RunComfy. Если вы не используете некоторые входы, отключите неиспользуемые узлы Load Image / Load Video / Load Audio с помощью Ctrl+B, чтобы сохранить работу легкой.
Этап 3 — Кондиционирование и сборка латента#
MiniMaxH3ReferenceToVideo (#136) принимает ваш запрос, изображения и любые опциональные видео или аудио ссылки для создания кондиционирования и начальной временной шкалы латента. Используйте теги <Picture N>, чтобы четко привязать каждого человека или объект к конкретному изображению; порядок следует за заполненными слотами ссылок. Вы можете управлять поведением камеры, синхронизацией губ и атмосферой на естественном языке. Ширина, высота и продолжительность поступают в этот узел, так что кадрирование и время соответствуют вашему намерению. Если у вас много изображений, оставьте только те, которые действительно определяют идентичность и гардероб для текущего момента.
Этап 4 — Сэмплинг#
График направляет латент через минимальное расписание и быстрый сэмплер, выбранный KSamplerSelect (#123), управляемый BasicGuider (#126). BasicScheduler (#124) предоставляет шаблон шагов, который ожидает Турбо LoRA, балансируя скорость и точность. SamplerCustomAdvanced (#125) разрешает временную шкалу в одном эффективном проходе, используя зашумленный шум для воспроизводимости. В большинстве случаев вы можете оставить эти компоненты как настроены и сосредоточиться на запросе, ссылках и кадрировании.
Этап 5 — Декодирование, мультиплексирование и сохранение#
После сэмплинга VAEDecode восстанавливает видео кадры, а VAEDecodeAudio восстанавливает стерео дорожку. CreateVideo (#130) мультиплексирует изображения и аудио в воспроизводимый файл с выбранной вами скоростью и глубиной бит. Наконец, SaveVideo (#92) записывает результат на диск с использованием выбранного контейнера и кодека. Выходной файл — это короткий клип с персонажами с заблокированной идентичностью, движением камеры и нативным стерео аудио, созданным MiniMax H3 ComfyUI Преобразование Ссылки в Видео 4-шаговый Турбо.
Ключевые узлы в Comfyui MiniMax H3 ComfyUI Преобразование Ссылки в Видео 4-шаговый Турбо#
MiniMaxH3ReferenceToVideo (#136)#
Это сердце рабочего процесса, которое объединяет текст запроса, статические ссылки и опциональные видео/аудио в кондиционирование и инициализированный латент. Настройте prompt, чтобы включить метки <Picture N> и четкие указания сцены для камеры, диалогов и атмосферы. Настройте width, height и length, чтобы установить кадрирование и продолжительность для кадра. Если вам нужно сбалансировать детализацию против скорости на статических изображениях, переключайте ref_image_size между режимами, такими как соответствие размеру рендера или изменение размера для более легких запусков. Держите набор ссылок сосредоточенным на идентичностях, которые вам действительно нужны в сцене.
LoraLoaderModelOnly (#164)#
Применяет MiniMax-H3 Turbo 4-step LoRA к модели ref2va, так что расписание может быть сжато для быстрого вывода. strength контролирует, насколько сильно LoRA влияет на основу; более высокие значения благоприятствуют скорости и турбо-виду, в то время как более низкие значения смешиваются обратно к базовому H3. Если вы замечаете потерю тонких деталей при экстремальном ускорении, немного уменьшите силу LoRA или удлините расписание в планировщике, чтобы восстановить точность. См. карточку модели LoRA для примечаний о версии и предполагаемом использовании. MiniMax-H3 Turbo LoRA
MiniMaxH3MemoryEfficientSageAttentionPatch (#163)#
Включает реализацию внимания, экономящую память, совместимую с MiniMax H3, так что вы можете запускать более высокие разрешения или более длинные кадры на ограниченной VRAM. Этот узел без параметров в этом графе; просто держите его включенным для лучшей емкости. Узел является частью KJNodes для ComfyUI. kijai/ComfyUI-KJNodes
BasicScheduler (#124)#
Определяет расписание диффузии, используемое во время сэмплинга. С активным Турбо LoRA держите количество шагов компактным для скорости, увеличивая их только тогда, когда вам нужна дополнительная резкость или стабильность. denoise позволяет вам усиливать переосмысление ссылок, если ваш запрос требует больших изменений. Изменения здесь взаимодействуют с силой LoRA и выбранным сэмплером, поэтому корректируйте небольшими шагами.
KSamplerSelect (#123)#
Выбирает алгоритм сэмплинга для прохода. Простой, стабильный сэмплер хорошо сочетается с турбо расписаниями и помогает сохранять идентичность на протяжении кадров. Если вы делаете акцент на стилизацию или очень быстрое движение камеры, попробуйте альтернативные сэмплеры, которые могут добавить текстуру движения за счет небольшой изменчивости.
CreateVideo (#130) и SaveVideo (#92)#
CreateVideo собирает декодированные кадры и аудио в финальный поток, где вы можете установить fps и bit_depth, чтобы соответствовать вашим потребностям доставки. SaveVideo выбирает контейнер и кодек для экспорта; используйте широко поддерживаемую комбинацию для общего обмена или высококачественный вариант для постобработки. Если вы быстро итератируете, держите настройки легкими, а затем переключайтесь на производственные настройки для финального рендера.
Дополнительные опции#
- Для нескольких персонажей разместите самые четкие изображения лиц впереди и ссылайтесь на них как <Picture 1>, <Picture 2> и т. д. Используйте одно или два дополнительных изображения на каждого субъекта для покрытия углов или гардероба.
- Если вы приносите референсное видео, включите короткое описание желаемого поведения камеры в запрос, чтобы H3 знал, что сохранить и что переосмыслить.
- Контроль продолжительности автоматически привязывается к безопасному количеству кадров для H3; если вы измените целевую частоту кадров в
CreateVideo, повторно проверьте временные заметки в вашем запросе. - Узлы помощника видео и аудио из Video Helper Suite; они обеспечивают надежный медиа I/O внутри ComfyUI. Kosinkadink/ComfyUI-VideoHelperSuite
- Ищете базовый сравнительный рабочий процесс для MiniMax H3 reference-to-video в ComfyUI? Ознакомьтесь с официальным шаблоном и адаптируйте идеи по мере необходимости. Comfy-Org workflow template
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем MiniMax Research за модель MiniMax H3, Comfy.org за примеры рабочих процессов MiniMax H3 ComfyUI, Comfy-Org за веса модели MiniMax-H3 и larryvrh за MiniMax-H3 Turbo LoRA за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- Официальное объявление MiniMax Research/MiniMax H3
- Документы / Примечания к выпуску: MiniMax H3 official announcement
- Comfy.org/MiniMax H3 учебник
- GitHub: comfy-org/docs
- Документы / Примечания к выпуску: MiniMax H3: ComfyUI Workflow Examples
- Comfy-Org/MiniMax-H3 веса модели
- Hugging Face: Comfy-Org/MiniMax-H3
- larryvrh/MiniMax-H3 Turbo LoRA
- GitHub: Larryvrh/ComfyUI-MiniMax-H3-Turbo
- Hugging Face: larryvrh/MiniMax-H3-Turbo-Lora
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
