MiniMax H3 Видео в Видео с SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Видео в Видео с SolarRenderer#

MiniMax H3 Видео в Видео с SolarRenderer - это рабочий процесс ComfyUI для повторной рендеринга исходного клипа, используя справочную информацию о внешнем виде и нормальные карты, извлеченные из видео. Он сохраняет структуру сцены и движение камеры, изменяя материалы, освещение и общий вид. Это делает его отличным выбором для архитектурных предварительных просмотров, доработки кадров дикой природы и рестайлинга кинематографических сцен, где важны постоянная геометрия и движение.

Рабочий процесс сочетает FastH3-Omni для генерации видео на основе справочной информации с SolarRenderer control LoRAs и SelfLift sampling. Нормальные карты направляют геометрию и движение, в то время как SolarRenderer LoRAs управляют физически правдоподобным затенением и материалами. Результат - это согласованная, рестайлинговая последовательность, которая следует таймингу и траектории оригинального кадра.

Ключевые модели в рабочем процессе Comfyui MiniMax H3 Видео в Видео с SolarRenderer#

• FastH3-Omni для ComfyUI. Основная модель диффузии MiniMax H3, выполняющая генерацию видео на основе справочной информации, позволяя перенос внешнего вида при соблюдении движения и компоновки. См. карту модели для получения подробной информации о справочной кондиционировании и временном поведении. FastH3-Omni-Comfy на Hugging Face
• SolarRenderer LoRAs. Пара LoRAs, которые внедряют контроль в стиле рендерера для достижения стабильного освещения, материалов и теней по кадрам, полезного для архитектурного или продуктоподобного реализма. Изучите проект и веса здесь: SolarRenderer на GitHub и SolarRenderer на Hugging Face
• MiniMax H3 VAEs. Отдельные видео и аудио VAEs обрабатывают латентное кодирование и декодирование, сохраняя синхронизацию визуальных кадров и звука во время генерации. Найдите официальные активы MiniMax H3 в коллекции: Comfy-Org/MiniMax-H3
• ControlNet Auxiliary Normal Map Estimator. Нормальный препроцессор на основе Metric3D извлекает поверхностные нормали по кадрам из исходного клипа, предоставляя надежное руководство по структуре и движению. Реализация в ComfyUI предоставляется вспомогательными процессорами: comfyui_controlnet_aux

Как использовать рабочий процесс Comfyui MiniMax H3 Видео в Видео с SolarRenderer#

Этот рабочий процесс организован в группы. Вы предоставляете справочное изображение и исходное видео, нормали извлекаются из видео, создается кондиционирование, и SelfLift sampling рендерит новую последовательность перед декодированием в MP4 с дополнительным аудио.

• Справочные входы
  • Используйте LoadImage (#278) для предоставления справочной информации о внешнем виде, которая определяет материалы, палитру и поверхностные качества. Загрузите ваш исходный клип с помощью VHS_LoadVideo (#273).
  • Исходный клип проходит через AIO_Preprocessor (#274), настроенный на извлечение нормалей Metric3D, чтобы создать последовательность нормальных карт. VHS_VideoCombine (#276) может предварительно просмотреть эти нормали, чтобы вы могли подтвердить, что геометрия захвачена чисто.
  • ImageScaleToTotalPixels (#226) масштабирует справочное изображение до целевого количества пикселей, сохраняя соотношение сторон, обеспечивая хороший баланс между детализацией и скоростью.
  • Если вы изменяете входные данные, повторно предварительно просмотрите нормали, чтобы обнаружить артефакты движения или освещения перед рендерингом.
• Модели
  • Рабочий процесс загружает компоненты MiniMax H3: UNet, текстовый энкодер и видео и аудио VAEs. Затем применяется SolarRenderer control LoRA и SolarRenderer 4-step LoRA для управления стилем рендеринга.
  • Эти модели приоритетно обеспечивают стабильное движение и постоянство в стиле рендерера. Обычно вам не нужно их трогать, кроме выбора или замены LoRAs по вкусу.
• Кондиционирование
  • MiniMaxH3ReferenceToVideo (#11) - это место, где встречаются внешний вид, структура и тайминг. Он потребляет справочное изображение, видео с нормальной картой, ваш промпт и выбранные ширину, высоту и длину кадра для создания положительного кондиционирования и начальной латентной последовательности.
  • Отрицательное кондиционирование обрабатывается через нулевой поток, чтобы модель сосредоточилась на ваших положительных сигналах от справочной информации, нормалей и промпта.
  • Если вам нужны конкретные ограничения по предмету или окружению, сформулируйте их в промпте, сохраняя его согласованным по кадрам.
• Патч внимания
  • Рабочий процесс включает как патч внимания с эффективным использованием памяти, так и разреженную заднюю часть внимания для более длинных клипов или ограниченного VRAM. Используйте только один путь за раз, чтобы избежать конфликтов; держите другой отключенным.
  • Этот раздел касается только пропускной способности и стабильности, а не стиля изображения. Переключайте подходы, если вы сталкиваетесь с ошибками VRAM или замедлениями.
• Семплинг
  • BasicScheduler и KSamplerSelect предоставляют стратегию этапов. Основной рендеринг происходит в SelfLiftH3Sampler (#233), который поднимает низкоразрешенный латентный проход до более высокого разрешения, уважая структуру нормальной карты и справочную внешность.
  • Семплер может тайлить контент высокого разрешения, использовать специализированный 3D латентный апскейлер и смешивать контрольные силы для балансировки геометрической точности с рестайлингом материалов.
  • Наконец, VAEDecode восстанавливает кадры, опционально VAEDecodeAudio восстанавливает аудио, а VHS_VideoCombine (#243) записывает MP4 с выбранным вами именем файла и частотой кадров.
• config
  • ResolutionSelector (#20) определяет размер вывода по аспекту и мегапикселям, затем сохраняет ширину и высоту для графика. Выберите размер, соответствующий вашей цели доставки и вычислительному бюджету.
  • Продолжительность выражается в секундах; рабочий процесс преобразует ее в кадры и привязывает к кратному 17 для стабильности семплера и временной плавности.
  • Сохраняйте паритет аспектов с вашим исходным клипом для наиболее точного движения камеры и композиции.

Ключевые узлы в рабочем процессе Comfyui MiniMax H3 Видео в Видео с SolarRenderer#

• MiniMaxH3ReferenceToVideo (#11)
  • Создает положительное кондиционирование и начальную латентную последовательность из вашего промпта, справочного изображения и нормальных карт исходного клипа. Используйте его для установки ширины, высоты и длины кадра. Выберите стратегию ref_image_size, которая соответствует вашему разрешению, чтобы функции внешнего вида передавались последовательно. См. базовую семейство моделей для контекста: FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • Выполняет временно осведомленный семплинг с интегрированным повышением разрешения. Ключевые настройки включают cfg для соблюдения промпта, transition_step для перехода семплера от грубых к детализированным деталям, w_min и w_max для балансировки структурного руководства, lowres_scale для начального прохода и highres_tiling, если VRAM ограничен. Узел также поддерживает 3D латентный апскейлер для более четких, более стабильных деталей. Фон метода: comfyui-SelfLift и резюме статьи на arXiv: SelfLift
• AIO_Preprocessor (#274)
  • Запускает извлечение нормальных карт Metric3D на исходных кадрах для предоставления надежных геометрических подсказок. Если края или поверхности выглядят мягкими в предварительном просмотре, увеличьте разрешение препроцессора или улучшите качество входного видео. Справочная информация о реализации: comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281) и 4-step (#121)
  • Эти два LoRAs направляют согласованное освещение, затенение и отклик материалов. Начните с Control и добавьте 4-step для дополнительной стабильности в стиле рендерера. Если текстуры выглядят пережаренными, аккуратно уменьшите strength_model. Проект и веса: SolarRenderer на GitHub и SolarRenderer на Hugging Face
• ResolutionSelector (#20)
  • Устанавливает размер вывода по аспекту и мегапикселям, затем маршрутизирует ширину и высоту на график. Используйте его для соответствия вашей целевой кадрации и вычислительному бюджету. Сохранение кратностей улучшает временную стабильность в MiniMax H3.
• VHS_VideoCombine (#243)
  • Объединяет кадры и дополнительное аудио в окончательный MP4. Установите filename_prefix, frame_rate и сохранение вывода. Узел принадлежит Video Helper Suite, что упрощает предварительный просмотр и экспорт. Справочная информация: ComfyUI-VideoHelperSuite

Дополнительные возможности#

• Для наиболее точного движения сохраняйте выходной аспект близким к исходному и используйте предварительный просмотр нормальных карт для проверки геометрии перед рендерингом.
• Если вы сталкиваетесь с давлением VRAM, включите тайлинг в SelfLiftH3Sampler или переключитесь между память-эффективным вниманием и разреженным вниманием. Не включайте оба пути одновременно.
• Когда результат выглядит слишком блестящим или искусственным, уменьшите силу SolarRenderer LoRA или добавьте текстурные подсказки в промпт, сохраняя стабильность ограничений сцены.
• Зафиксируйте случайное зерно для повторяемости при сравнении сил LoRA или вариантов промпта.

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем Innovate Futures за исходный код рабочего процесса, Enderfga за проект и модели SolarRenderer, FastVideo за модель FastH3-Omni ComfyUI и facok за узлы семплирования SelfLift за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы#

• Исходный код рабочего процесса от Innovate Futures
  • Документация / Примечания к выпуску: Patreon пост
• Проект SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Модели SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Модель FastH3-Omni ComfyUI
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Узлы семплирования SelfLift
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

Примечание: Использование указанных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.