MiniMax H3 Latent Upscaler: BUNNY Двухпроходный рабочий процесс генерации видео#
Этот рабочий процесс ComfyUI превращает текстовые подсказки и опциональные эталонные изображения в короткие кинематографические видео с синхронизированным аудио. Он использует двухпроходный дизайн BUNNY: на этапе 1 создается движение и композиция в скромном базовом разрешении, затем MiniMax H3 Latent Upscaler увеличивает 3D латентное видео-аудио перед тем, как этап 2 восстанавливает высокочастотные детали и декодирует финальные кадры и звук. MiniMax H3 Latent Upscaler интегрирован в генерацию, поэтому он не является универсальным улучшителем для существующих видео; он специально разработан для рекламных роликов и стилизованных кинематографических сцен, где требуется дополнительная четкость без потери намерения движения.
Результат - клип высокого разрешения, внешний вид которого определяется вашей подсказкой, эталонами и небольшим набором LoRAs, в то время как стабильность движения защищена двухпроходным процессом увеличения-возобновления. Этап 2 обязателен и всегда выполняет фактическое восстановление деталей после увеличения латента.
Основные модели в рабочем процессе Comfyui MiniMax H3 Latent Upscaler#
- Модель MiniMax H3 video-audio и кастомные узлы T8. Обеспечивает основной генератор, кондиционирование, планирование двух проходов и утилиты декодирования, используемые по всему процессу. Смотрите набор узлов в репозитории T8 для специфичных для модели поведений и интерфейсов. GitHub: comfyui-minimax-h3-audio-T8
- MiniMax H3 Video VAE. Кодирует и декодирует латенты видео, которые этап 2 в конечном итоге превращает в кадры. Включен и потребляется узлами T8 выше. GitHub: comfyui-minimax-h3-audio-T8
- MiniMax H3 Audio VAE. Кодирует и декодирует латенты аудио, чтобы сохранить согласованность окружающего звука с планом визуального движения. GitHub: comfyui-minimax-h3-audio-T8
- MiniMax H3 Latent Upscaler 3D. Изученный 3D латентный увеличитель, который увеличивает совместный видео-аудио латент в ширину и высоту перед восстановлением деталей, сохраняя временную структуру лучше, чем постпроцессное интерполирование. Используйте официальный 3D fp16 контрольную точку. Hugging Face: LBH-123-AI/Minimax_h3_latent_Upscaler
- SageAttention энергоэффективный патч внимания для H3. Служит единственным патчем внимания, используемым в этом рабочем процессе для стабильного, энергоэффективного вывода. GitHub: ComfyUI-h3_sage_amd
Как использовать рабочий процесс Comfyui MiniMax H3 Latent Upscaler#
Рабочий процесс имеет семь маркированных групп, которые работают вместе, чтобы создать окончательный клип. На этапе 1 планируется движение в базовом разрешении, MiniMax H3 Latent Upscaler увеличивает латент, и на этапе 2 восстанавливаются детали в большем размере перед декодированием в видео и аудио.
01 · Входы, Увеличение и Эталоны#
Используйте окно подсказок BUNNY, чтобы описать сцену, движение, настроение и звуковой пейзаж. Дополнительно добавьте до четырех эталонных изображений, чтобы направлять идентичность, палитру или дизайн кадра; оставьте их отключенными для генерации только текста. Установите желаемую продолжительность; количество кадров вычисляется автоматически, чтобы соответствовать сетке выборок модели. Выберите базовое разрешение этапа 1, подходящее для вашего оборудования, затем отрегулируйте коэффициент увеличения, чтобы определить, насколько MiniMax H3 Latent Upscaler увеличивает ширину и высоту в латентном пространстве. Помните, что площадь пикселя увеличивается с квадратом коэффициента увеличения, поэтому VRAM и время рендеринга увеличиваются с более высоким увеличением.
02 · Базовая Модель · Только Sage#
Эта группа загружает базовую модель MiniMax H3, применяет опциональный Turbo LoRA для скорости и активирует патч SageAttention как единственное изменение внимания. Соответствующие видео и аудио VAE MiniMax H3 и текстовый энкодер H3 загружаются для обеспечения согласованного кондиционирования и декодирования. Оставьте этот раздел как есть, если у вас нет конкретной причины заменить совместимый файл модели; смешивание бэкэндов внимания не рекомендуется.
03 · BUNNY Stage 1 и Stage 2 LoRAs#
LoRAs на этапе 1 влияют на логику движения, композицию и паттерны взаимодействия; LoRAs на этапе 2 сосредоточены на восстановлении увеличенной структуры и тонких деталей. Вы можете заменить файлы LoRA на подходящие для вашей темы и осторожно настроить их веса. Если этап 2 начинает изменять намерение движения, уменьшите силу LoRA этапа 2, прежде чем касаться этапа 1. Никогда не направляйте LoRA этапа 2 обратно в этап 1 и не обходите этап 2.
04 · Движение Этапа 1#
Stage 1 Conditioning · AUTO (#7) анализирует вашу подсказку и эталоны, выбирает соответствующий режим генерации и собирает совместное видео-аудио латентное полотно. Stage 1 Dual Clock (#8) управляет раздельными, но синхронизированными расписаниями видео и аудио, чтобы движение и звук развивались согласованно. Узел плана двух проходов выделяет небольшой бюджет этапу 1 для структуры движения и резервирует больше для деталей этапа 2. Stage 1 · Motion Structure выполняет грубое удаление шума, которое устанавливает композицию и тайминг; выход - это уточненный латент, не финальные кадры.
05 · H3 3D Латентное Увеличение#
H3 3D Learned Latent Upscale (#13) применяет MiniMax H3 Latent Upscaler к латенту этапа 1, увеличивая ширину и высоту напрямую в 3D латентном пространстве. Поскольку увеличение происходит до восстановления деталей, временная согласованность сохраняется лучше, чем с увеличителями в пространстве кадров. Используйте только официальный 3D fp16 контрольную точку и отрегулируйте масштаб здесь, если хотите другое финальное разрешение. Узел также сообщает новые размеры, которые автоматически передаются этапу 2.
06 · Восстановление HQ Этапа 2 (ОБЯЗАТЕЛЬНО)#
Stage 2 Conditioning · AUTO (#14) повторно использует вашу подсказку, эталоны и увеличенные размеры для выравнивания руководства с более крупным полотном. Stage 2 Reconcile · Size & Audio (#15) фиксирует эти размеры и аудиополитики, чтобы видео и звук оставались синхронизированными. Stage 2 Detail Mixer · Fixed 5 Steps (#16) выполняет решающий проход восстановления, добавляющий четкую текстуру, уважая движение этапа 1. Stage 2 · 5-Step HQ Reconstruction удаляет шум из засеянного шума в финальный латент, а Stage 2 AV Decode (#20) преобразует его в кадры и сгенерированное аудио для вывода.
07 · Окончательный Вывод#
CreateVideo упаковывает декодированные кадры и аудио в видеопоток с выбранной вами частотой кадров. Clean VRAM After Generation освобождает память между рендерами. BUNNY HQ · Save Final Video записывает окончательный файл с вашим префиксом имени файла, форматом и кодеком. Всегда сохраняйте с декодирования этапа 2; предварительные просмотры этапа 1 не являются окончательными.
Основные узлы в рабочем процессе Comfyui MiniMax H3 Latent Upscaler#
Stage 1 Conditioning · AUTO(#7). Центральный вход для текста, эталонов и маршрутизации режимов. Корректируйте подсказку и, при необходимости, режим, который определяет, как используются эталоны. Оставляйте это на AUTO, если у вас нет четкой причины принудительно задать режим, и убедитесь, что эталоны соответствуют описанной вами истории.Stage 1 Dual Clock · Video 12 / Audio 3(#8). Организует раздельные часы выборки для видео и аудио, чтобы сохранить синхронизацию движения и звуковых событий. Если необходимо изменить время, делайте это осторожно и держите оба часа согласованными с вашим целевым темпом.H3 3D Learned Latent Upscale(#13). Применяет MiniMax H3 Latent Upscaler, используя официальную 3D fp16 контрольную точку. Единственный параметр, который большинство пользователей должны изменять, - это коэффициент увеличения; его увеличение увеличивает ширину и высоту в латентном пространстве, а общее количество пикселей увеличивается с квадратом этого коэффициента. Используйте проверенную контрольную точку увеличителя из карточки модели, чтобы избежать поврежденных латентов. Hugging FaceStage 2 Reconcile · Size & Audio(#15). Обеспечивает, чтобы латент этапа 2 нес увеличенный размер и выбранную аудиополитики перед восстановлением. Если экспериментируете с настройками аудио, держите согласование включенным, чтобы время и размеры оставались согласованными.Stage 2 Detail Mixer · Fixed 5 Steps(#16). Сердце восстановления высокого разрешения, которое добавляет детали, не переписывая логику движения. Если результат выглядит чрезмерно резким или отклоняется в анимации, сначала уменьшите силы LoRA этапа 2, затем тонко настраивайте балансы микшера только при необходимости.Stage 2 AV Decode(#20). Декодирует восстановленный латент в кадры и синхронизированное аудио. Всегда направляйте выходы из этого узла вCreateVideoиSave Final Video, чтобы обеспечить правильную обработку цветового пространства и аудио.
Дополнительные возможности#
- Для генерации только текста отключите все входы эталонных изображений, чтобы AUTO выбрал чистый путь текст-видео.
- При изменении увеличения помните, что стоимость рендеринга увеличивается с квадратом коэффициента; предпочитайте увеличивать базовое разрешение этапа 1 только после установки коэффициента увеличения MiniMax H3 Latent Upscaler.
- Чтобы улучшить согласованность между попытками, зафиксируйте семя в
Seeded Noiseи варьируйте его намеренно при исследовании альтернатив. - Если этап 2 изменяет ритмы движения, уменьшите веса LoRA этапа 2, прежде чем касаться выборщиков или настроек микшера.
- Держите SageAttention как единственный патч внимания; избегайте добавления дополнительных бэкэндов внимания для стабильности. GitHub
- Используйте официальный контрольный пункт MiniMax H3 Latent Upscaler, чтобы предотвратить недействительные тензоры и несоответствующие ключи. Hugging Face
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем RunningHub.ai за источник рабочего процесса, LBH-123-AI за модель Minimax H3 Latent Upscaler и T8mars за кастомные узлы MiniMax H3 за их вклад и поддержку. Для авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, связанным ниже.
Ресурсы#
- RunningHub.ai/Workflow source
- Документы / Примечания к выпуску: runninghub.ai post
- LBH-123-AI/Minimax_h3_latent_Upscaler
- GitHub: LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler
- Hugging Face: LBH-123-AI/Minimax_h3_latent_Upscaler
- T8mars/comfyui-minimax-h3-audio-T8
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.