MiniMax H3 Taomate 3-шаговое ускорение: эталонное изображение в кинематографическое видео с синхронизированным аудио#
Этот рабочий процесс ComfyUI преобразует одно или два неподвижных изображения и кинематографическую подсказку в согласованное видео с синхронизированным звуком. Построенный на базе MiniMax H3 и трехшагового ускорения TaoMate H3 LoRA, он достигает быстрой выборки, сохраняя идентичность объекта, непрерывность сцены, движение камеры и аудиосигналы. Конвейер MiniMax H3 Taomate 3-Step Acceleration идеально подходит для портретов персонажей, научной фантастики, исторических реконструкций и отточенных концепций в короткой форме, где требуется сильный контроль схожести и естественное движение.
Сочетая эталонное изображение с структурированной подсказкой, рабочий процесс MiniMax H3 Taomate 3-Step Acceleration обеспечивает постоянную производительность на экране, стабильное освещение и оформление сцены, а также звуковую дорожку, которая следует за вашим текстовым направлением. Он поставляется с память-эффективными патчами внимания и блочной интерференцией, чтобы вы могли запускать более крупные кадры при низком VRAM, сохраняя синхронизацию аудио и видео.
Основные модели в рабочем процессе Comfyui MiniMax H3 Taomate 3-Step Acceleration#
- Основная модель MiniMax H3 от изображения к видео. Управляет совместной генерацией видео и аудио из текстовых и визуальных ссылок. См. официальную карточку модели для возможностей и форматов на MiniMaxAI/MiniMax-H3.
- TaoMate-H3 трехшаговое ускорение LoRA. Реформирует график шумоподавления, чтобы достичь высокого качества за очень короткие шаги, позволяя использовать трехшаговый график, который использует этот рабочий процесс. Проект и весы: TaoMate-H3 на GitHub и TaoLiveAIGC/TaoMate-H3.
- Вариант текстового кодировщика Qwen3-VL 32B для MiniMax H3. Кодирует длинные, осознающие кадры подсказки с директивами камеры и звука для более сильного кондиционирования. Распространяется с комплектом H3, готовым к Comfy: Comfy-Org/MiniMax-H3.
- MiniMax H3 Video VAE и Audio VAE. Декодирует общий латентный поток в кадры изображений и синхронизированное аудио, обеспечивая безопасную синхронизацию губ и непрерывность атмосферы. Включено в Comfy-Org/MiniMax-H3.
Как использовать рабочий процесс Comfyui MiniMax H3 Taomate 3-Step Acceleration#
Рабочий процесс проходит от входных данных к единому пути выборки, который выдает единый латент для видео и аудио, затем декодирует и монтирует в финальный файл. Группы организованы так, чтобы вы могли сначала установить ссылки и текст, а затем позволить обработке MiniMax H3 Taomate 3-Step Acceleration взять на себя.
Входные данные изображения/видео (2)#
Загрузите один или два кадра объекта в LoadImage (#94) и LoadImage (#9). Используйте чистые, фронтальные изображения со стабильным освещением и без тяжелых закрытий, чтобы идентичность оставалась заблокированной. Одна сильная ссылка работает; второй угол может помочь сохранить одежду, пропорции и окружающую среду. Ссылки подают MiniMaxH3ReferenceToVideo, чтобы инициализировать идентичность, диапазон поз и макет перед началом шумоподавления.
Входные данные текста (1)#
Введите вашу кинематографическую подсказку в Prompt (#93). Кодировщик предпочитает структурированную прозу с разделами, такими как разбор кадров, движения камеры, глаголы движения и два необязательных блока для звука: строка атмосферы и строка недиегетической музыки. Вы можете сохранить предоставленный стиль шаблона и заменить его содержимое вашими маркерами сцены и времени. Эти направления кондиционируют как изображение, так и звук, чтобы стек MiniMax H3 Taomate 3-Step Acceleration мог выровнять аудио события с действиями на экране.
Обработка (22)#
Эта группа загружает MiniMax H3, применяет трехшаговое ускорение TaoMate LoRA и устанавливает память-эффективное внимание для низких VRAM запусков. MiniMaxH3ReferenceToVideo (#11) объединяет ваши эталонные изображения и подсказку в латентный план; Resolution Selector (Size) (#20) устанавливает ширину и высоту; Float (Duration) (#17) управляет временем работы. Маленький узел выражения преобразует продолжительность в количество кадров, совместимое с H3, чтобы движение оставалось плавным. Выборщик, гид, планировщик и сдвиг сигмы затем выполняют короткий, агрессивный график, разработанный для MiniMax H3 Taomate 3-Step Acceleration без ущерба для идентичности или стабильности сцены.
Выходы (2)#
Денойзированный латент выборщика декодируется дважды: VAEDecode (#25) выдает кадры, а VAEDecodeAudio (#14) выдает звук. CreateVideo (#34) объединяет кадры и аудио с вашей выбранной частотой кадров для единого готового к обмену клипа, а SaveVideo (#5) сохраняет его с вашим префиксом имени файла. Выход отражает ваш текст на уровне кадра и сохраняет сходство лиц с эталонных изображений. Поскольку видео и аудио делят латент, синхронизация поддерживается на протяжении всего времени.
Основные узлы в рабочем процессе Comfyui MiniMax H3 Taomate 3-Step Acceleration#
MiniMaxH3ReferenceToVideo (#11)#
Этот узел является точкой входа для кондиционирования текст-изображение в конвейер H3. Используйте его, чтобы предоставить вашу подсказку, одно или два эталонных изображения, а также эффективные width, height и length. Для точной синхронизации отрегулируйте продолжительность вверх по потоку и позвольте вычисленному length автоматически выровняться; измените разрешение через селектор, а не вводя сырые размеры здесь. Если вы меняете или добавляете ссылки, сохраняйте согласованность кадрирования на всех изображениях, чтобы избежать дрейфа идентичности.
LoraLoaderModelOnly (#92) — трехшаговое ускорение TaoMate H3#
Применяет LoRA TaoMate H3, который позволяет использовать график MiniMax H3 Taomate 3-Step Acceleration. Увеличьте его влияние только если вам нужна большая скорость или более сильное руководство на очень низких шагах; уменьшите его немного, если заметите чрезмерную резкость или уменьшенное тонкое движение. Сочетайте это с краткой, конкретной подсказкой, чтобы короткий график имел ясные цели для сходимости.
MiniMaxH3SigmaShift (#38)#
Сдвигает график шума для баланса четкости и временной согласованности в видео, сохраняя стабильность аудио. Если ваши кадры выглядят слишком мягкими, сдвиньте видео-сдвиг вверх; если атмосфера становится слишком доминирующей или хрупкой, ослабьте аудио-сдвиг. Делайте небольшие согласованные изменения и просматривайте несколько секунд перед тем, как приступить к полному рендерингу.
SamplerCustomAdvanced (#21)#
Запускает короткий путь денойзинга с вашим выбранным выборщиком и кривой сигмы планировщика. Держите выборщик постоянным при сравнении подсказок, чтобы вы могли приписывать изменения тексту и ссылкам, а не выборке. Для разнообразия измените семя RandomNoise вверх по потоку; это изменяет микро-движение и ощущение камеры, не нарушая идентичности.
ComfyMathExpression (#19) — авто количество кадров#
Преобразует продолжительность в количество кадров, выровненное с внутренним шагом H3, предотвращая заикание каденции. Редактируйте только узел ввода длительности; выражение автоматически округлится до ближайшего совместимого количества. Это сохраняет плавное движение и держит аудио в синхронизации с визуальными ударами.
Resolution Selector (Size) (#20)#
Выбирает соотношение сторон и пиксельный бюджет, сохраняя оба измерения кратными размеру плитки, дружелюбной к модели. Выберите аспект, который соответствует вашему результату, затем поднимите или опустите мегапиксели, чтобы обменять детали на скорость и VRAM. Используйте это вместо произвольных размеров, чтобы избежать несоответствия в VAE и окнах внимания.
CreateVideo (#34) и SaveVideo (#5)#
Объединяет кадры и аудио в один файл и сохраняет его с вашим предпочтительным префиксом и форматом. Настройте fps здесь, чтобы изменить воспринимаемую скорость движения и тайминг звука без повторной выборки модели. Используйте постоянную глубину цвета и цветовое пространство при создании серии, чтобы клипы выглядели одинаково.
Дополнительные опции#
- Подготовка подсказок для лучших результатов
- Начинайте с односоставного резюме сцены, затем перечислите 1–3 блока кадров с четкими глаголами и временными подсказками.
- Включите одну строку атмосферы и, при необходимости, приглушенную музыкальную ноту, чтобы аудио звучало намеренно.
- Избегайте противоречивых инструкций; короткие графики в MiniMax H3 Taomate 3-Step Acceleration вознаграждают ясность.
- Сильные эталонные изображения
- Используйте чистый, средний или средне-широкий кадр с видимым лицом объекта и читаемым гардеробом.
- Поддерживайте температуру освещения и фон, аналогичные целевой сцене, чтобы уменьшить цветовые сдвиги.
- Быстрые, стабильные итерации
- Заблокируйте ваше семя, чтобы справедливо сравнивать подсказки; изменяйте только один контроль за раз.
- Начните с умеренного разрешения, проверьте движение и синхронизацию, затем увеличьте масштаб с тем же семенем для окончательного прохода.
- Контроль стиля
- Замените включенный стиль LoRA на другой LoRA, совместимый с H3, если хотите другой жанровый вид.
- Поддерживайте активность ускорения TaoMate H3 LoRA, чтобы сохранить профиль скорости MiniMax H3 Taomate 3-Step Acceleration.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим RunningHub.ai за источник рабочего процесса, TaoLiveAIGC за проект TaoMate-H3 и модель, и MiniMaxAI за модель MiniMax-H3 за их вклад и поддержку. За авторитетными деталями, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Ресурсы#
- RunningHub.ai/Источник рабочего процесса
- Документы / Примечания к выпуску: RunningHub.ai пост
- Проект TaoLiveAIGC/TaoMate-H3
- GitHub: TaoLiveAIGC/TaoMate-H3
- Hugging Face: TaoLiveAIGC/TaoMate-H3
- Модель TaoLiveAIGC/TaoMate-H3
- Hugging Face: TaoLiveAIGC/TaoMate-H3
- GitHub: TaoLiveAIGC/TaoMate-H3
- Официальная модель MiniMaxAI/MiniMax H3
- Hugging Face: MiniMaxAI/MiniMax-H3
Примечание: использование указанных моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.