FastH3 Omni Ссылка на Видео

FastH3 Omni Ссылка на Видео: видео, управляемое референсом, с синхронизированным звуком за 8 шагов#

FastH3 Omni Ссылка на Видео — это рабочий процесс ComfyUI для превращения одного референсного изображения и подсказки в короткое видео с соответствующим звуком. Он основан на дистиллированной контрольной точке FastVideo’s FastH3 OmniRef на основе MiniMax H3, оптимизированной для быстрой выборки в 8 шагов. Рабочий процесс идеально подходит для кинематографических снимков персонажей, глянцевых клипов продуктов и сцен путешествий, где вы хотите, чтобы внешний вид соответствовал референсу, но движение, работа камеры и звук следовали вашей подсказке.

Этот граф ComfyUI соединяет референсные входы, текстовые подсказки, разреженное внимание и совместный видеозвуковой диффузионный проход в чистый конвейер. Вы управляете содержанием сцены, движениями камеры и звуковыми эффектами или диалогами непосредственно в подсказке. Результат — это клип, верный референсу, со скоростью 24 кадра в секунду и звуком, отражающим написанную сцену.

Ключевые модели в рабочем процессе Comfyui FastH3 Omni Ссылка на Видео#

• FastVideo FastH3 OmniRef (Comfy). Основная контрольная точка диффузии в 8 шагов, генерирующая как видео, так и звук из референсных входов плюс подсказка. Он дистиллирован для задач "референс-видео", обеспечивая сильную идентичность и синхронизированный звук с минимальными шагами. Карта модели
• MiniMax H3 Video VAE (int8 convrot). Видео VAE, который кодирует и декодирует пространственно-временные латенты, используемые моделью диффузии, позволяя компактную выборку и быструю реконструкцию. Файл модели
• MiniMax H3 Audio VAE (fp32). Аудио VAE, который обрабатывает латентный путь волновой формы, чтобы сгенерированный саундтрек соответствовал визуальной временной шкале. Файл модели
• Qwen3‑VL 32B MiniMax H3 NVFP4 AWQ текстовый энкодер. Большой текстовый энкодер для обработки визуально-языковых подсказок и их согласования с референсами для согласованного действия, директив камеры и звуковых сигналов. Файл модели
• Шаблон референса. Официальный шаблон "референс-видео" от Comfy-Org, адаптированный для FastH3 Omni Ссылка на Видео. Шаблон JSON

Как использовать рабочий процесс Comfyui FastH3 Omni Ссылка на Видео#

На высоком уровне рабочий процесс загружает модели, применяет внимание и сигма патчи, строит кондиционирование из вашей подсказки и референсов, выполняет совместную диффузию видео и аудио за 8 шагов, декодирует в кадры и звуковую волну, затем мультиплексирует и сохраняет видео.

Модели#

Эта группа загружает модель диффузии FastVideo FastH3 OmniRef, видео и аудио VAE MiniMax H3 и текстовый энкодер NVFP4 AWQ. Сохранение соответствия этих компонентов обеспечивает корректное поведение 8-ступенчатого расписания и совместного звукового пути. Вам не нужно ничего настраивать здесь, кроме выбора правильной контрольной точки. Загрузите только одну модель диффузии; VAE и текстовый энкодер являются отдельными активами.

Патчи модели#

Модель патчируется с помощью MiniMaxH3SigmaShift для выравнивания шумового расписания для видео и аудио, и выбирается поддержка внимания. ModelAttentionBackend использует быстрый int8 ядро для плотных регионов, в то время как BlockSparseAttention настроен для VSA, чтобы длинные клипы с более высоким разрешением оставались эффективными. Оставьте эти настройки как есть для FastH3 Omni Ссылка на Видео, так как контрольная точка обучена для VSA и показанных смещений сигмы.

Кондиционирование#

MiniMaxH3ReferenceToVideo строит кондиционирование из вашей подсказки и референсов. Подключите ваше референсное изображение в первый слот и напишите подсказку, которая вызывает его по тегу, например "<Picture 1> идёт к камере, ручное отслеживание, океанский ветер, дальние чайки." Ширина и высота берутся из селектора разрешения, а простой контроль длительности в секундах преобразуется в сетку кадров модели, чтобы воспроизведение оставалось согласованным. Если критична идентичность, установите ref_image_size узла на max; для скорости используйте match.

Выборка#

Группа выборки объединяет фиксированный или случайный RandomNoise, BasicGuider, простой планировщик и этап SamplerCustomAdvanced. План состоит из 8 шагов для соответствия рецепту дистиллированного FastH3 OmniRef, который балансирует скорость и точность для задач "референс-видео". Вы можете изменить seed, чтобы исследовать вариации, не изменяя другие настройки. Видео и аудио латенты эволюционируют вместе, чтобы движение и звуковые сигналы оставались синхронизированными.

Декодирование и создание видео#

После выборки VAEDecode восстанавливает кадры из видео латентов, а VAEDecodeAudio восстанавливает саундтрек. CreateVideo мультиплексирует кадры и аудио на 24 кадра в секунду в sRGB и создаёт один поток. SaveVideo записывает конечный файл на диск, используя разумные настройки по умолчанию. Результат — это компактный клип, отражающий как ваш референс, так и вашу написанную сцену.

Входные данные пользователя#

• Селектор разрешения (Размер). Выберите аспект и количество пикселей, чтобы управлять деталями и временем выполнения; широкоэкранный формат 16:9 хорошо работает для большинства снимков.
• Float (Длительность). Установите длину клипа в секундах; она округляется до ближайшего значения в сетке кадров модели 17k+5, чтобы тайминг был чистым. Например, 5 с становится 124 кадрами при 24 кадрах в секунду.
• Входной текст (Подсказка). Описывайте действия субъекта, язык камеры и звуковой дизайн или диалоги. Ссылайтесь на ваши референсы по порядку, используя теги, такие как "<Picture 1>".
• LoadImage. Добавьте чистый, хорошо освещённый референс для внешнего вида или настройки. Вы можете расширить узел, чтобы добавить больше слотов для референсов, если это необходимо.

Ключевые узлы в рабочем процессе Comfyui FastH3 Omni Ссылка на Видео#

MiniMaxH3ReferenceToVideo (#136) Этот узел объединяет подсказку с одним или несколькими референсами и готовит совместный видеозвуковой латент. Используйте его для управления сохранением идентичности, движениями камеры и звуковыми событиями в одном месте. Регулируйте width, height, length и ref_image_size, чтобы сбалансировать точность и скорость. Держите подсказки краткими, но чёткими относительно движения и звука для лучшей синхронизации.

BlockSparseAttention (#143) Патч внимания включает разреженное внимание блоков VSA для более длинных клипов и более высокого разрешения. В этом рабочем процессе он настроен на VSA с консервативным процентом сохранения, чтобы сохранить качество при экономии вычислений. Оставьте выбор на VSA для FastH3 Omni Ссылка на Видео; переключение на другие разреженные режимы может ухудшить результаты. Увеличение коэффициента сохранения увеличивает вычисления, в то время как его снижение может снизить точность.

MiniMaxH3SigmaShift (#141) Смещение сигмы выравнивает шумовое расписание диффузии между видео и аудио, чтобы оба сходились чисто за 8 шагов. Предоставленные видеозвуковые смещения настроены для контрольной точки OmniRef и должны оставаться как есть для согласованного вывода. Если вы переключитесь на другую контрольную точку семейства MiniMax H3, обратитесь к её карте модели перед изменением этих значений.

BasicScheduler (#124) Планировщик управляет 8-ступенчатой траекторией, используемой дистиллированной моделью. Сохранение шагов на 8 сохраняет запланированный баланс скорости и качества; больше шагов обычно добавляют время без явных улучшений. Совмещайте это с фиксированным seed для воспроизводимости или рандомизируйте seed, чтобы исследовать альтернативы с той же структурой.

Дополнительные возможности#

• Пишите подсказки, которые соединяют действия и глаголы камеры с фоновым звуком или короткими диалогами для плотного аудиовизуального выравнивания.
• Для максимальной идентичности используйте высокоразрешённый, фронтально обращённый референс и установите ref_image_size на max; для быстрой итерации используйте match.
• Если вы видите нагрузку на память при длительных длительностях, уменьшите разрешение или сократите клип, прежде чем изменять настройки внимания.
• Используйте фиксированный seed при разработке внешнего вида, затем переключитесь на случайные seed, чтобы сгенерировать разнообразие дублей из той же настройки.
• Чтобы создать многокадровую последовательность, отрендерите несколько коротких клипов из одного референса с разными подсказками камеры и объедините их в вашем видеоредакторе.

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы благодарим FastVideo за модель FastH3-Omni-Comfy и коллекцию моделей FastH3 Omni, Hao AI Lab за блог релиза FastVideo OmniRef и Comfy-Org за шаблон рабочего процесса "референс-видео" за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведённым ниже.

Ресурсы#

• FastVideo/FastH3-Omni-Comfy
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Hao AI Lab/FastVideo OmniRef release blog
  • Документация / Примечания к выпуску: FastVideo OmniRef update
• Comfy-Org/reference-to-video workflow template
  • GitHub: Comfy-Org/workflow_templates: templates/video_fasth3_ominiref_r2v.json
• FastVideo/fasth3-omni (collection)
  • Hugging Face: FastVideo/fasth3-omni

Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.