Рабочий процесс Pika H3 Flex ComfyUI: два референсных изображения в видео со стерео аудио и A/B сравнение Turbo#
Этот рабочий процесс Pika H3 Flex ComfyUI превращает два референсных изображения и подсказку сцены в короткое видео с синхронизированным стерео аудио. Он предназначен для художников и исследователей, которые хотят быстрые, высококачественные результаты от референса к видео и честное A/B сравнение между Pika H3 Flex Turbo Ref2VA и MiniMax H3 Turbo, используя те же объекты, подсказку, размеры и семя.
Под капотом рабочий процесс создает одно условие и латентное состояние из ваших референсов, затем запускает две параллельные ветви выборки из восьми шагов. Каждая ветвь декодирует видео и аудио и записывает свой собственный MP4, что позволяет легко судить о стиле, верности движения и реалистичности аудио, удерживая все остальное постоянным.
Ключевые модели в рабочем процессе Comfyui Pika H3 Flex ComfyUI#
- Pika-Labs Pika H3 Flex. Основная видео модель и активы, которые определяют внешний вид и предпосылки движения ветви Pika. См. карточку модели для возможностей и рекомендуемых примечаний по использованию. Pika-Labs/Pika-H3-Flex
- Pika H3 Flex Turbo LoRA. Легкий адаптер, оптимизированный для быстрого, высококачественного Ref2VA на H3 Flex с сильной переносимостью идентичности и четким движением за несколько шагов. Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- MiniMax H3 Singularity Ref2VA. Основной диффузионный механизм, используемый здесь для условного преобразования референса в видео, в паре с VAE и текстовым энкодером из набора MiniMax H3. WarmBloodAban/Minimax-h3_Singularity
- MiniMax H3 Video VAE и Audio VAE. Декодеры для кадров и стерео волн, используемые обеими ветвями для восстановления визуальных и звуковых элементов. Comfy-Org/MiniMax-H3
Как использовать рабочий процесс Comfyui Pika H3 Flex ComfyUI#
График организован в группы, которые передают одно целостное состояние. Обе ветви используют те же референсы, подсказку, размеры и семя, затем расходятся только на этапе LoRA, чтобы создать два сравнимых выхода.
Модели#
Эта группа загружает MiniMax H3 UNet, текстовый энкодер и парные видео и аудио VAE, затем регистрирует их для повторного использования. Вам не нужно ничего менять здесь, если вы не заменяете варианты моделей из их карточек моделей. Бэкэнд внимания настроен на предпочтение эффективного, стабильного внимания, подходящего для видео рабочих нагрузок. Все объекты моделей хранятся через узлы get/set, чтобы каждый последующий этап мог ссылаться на единый источник истины.
Входные данные пользователя#
Используйте два загрузчика изображений, чтобы загрузить своих объектов. Фоны автоматически удаляются, чтобы подчеркнуть идентичность и позу, что увеличивает консистентность внешнего вида, когда объекты помещаются в новую сцену. Введите описание сцены в текстовую подсказку; вы можете дополнительно включить строку "Audio:", чтобы направить шумы и атмосферу. Выберите соотношение сторон и мегапиксели; селектор разрешения вычисляет ширину и высоту, кратные 32, а продолжительность преобразуется в количество кадров, которое согласуется с выборщиком для плавного движения. Установите FPS и семя, чтобы контролировать ощущение воспроизведения и воспроизводимость обоих выходов.
Сборка подсказок и настроек#
Краткий стильный праймер добавляется к вашей подсказке через этап конкатенации строк, чтобы подтолкнуть реализм и временную согласованность. Вы можете оставить его, отредактировать или полностью заменить, чтобы соответствовать тону вашего проекта. Окончательная подсказка хранится и извлекается последовательно, чтобы обе ветви получали идентичный текст. Ширина, высота, количество кадров и семя также централизованы, чтобы гарантировать честное сравнение.
Условие#
MiniMaxH3ReferenceToVideo (#6617) поглощает два очищенных от фона референса, упакованную подсказку и общие размеры, чтобы создать позитивное условие и инициализированное латентное состояние для видео и аудио. Узел объединяет идентификационные сигналы из обоих изображений с вашим намерением сцены, создавая базовый план движения и аудио набросок. Этот единый объект условия экспортируется для обоих выборщиков, гарантируя, что ветви Pika и Turbo различаются только по их LoRA стекам и внутреннему пути выборщика.
LoRA#
Подготовлены два стека LoRA из одной базовой модели. Один применяет Pika H3 Flex Turbo Ref2VA LoRA, чтобы подчеркнуть вид Pika, сохраняя идентичность за очень малое количество шагов. Другой применяет MiniMax H3 Turbo Ref2V LoRA, настроенный на скорость и четкость. Поскольку используется одно и то же семя, подсказка и условие, любые различия, которые вы видите, отражают стиль и динамику каждой LoRA, а не изменения в входных данных.
Обычная выборка - Pika H3 Flex#
Эта ветвь выбирает зарегистрированную модель, настроенную на Pika, засеивает шумовое поле и запускает выборщик из восьми шагов с общим условием. После удаления шума латентные состояния видео и аудио декодируются MiniMax H3 VAE. VHS_VideoCombine соединяет кадры и стерео аудио в MP4 и сохраняет его с префиксом имени файла, специфичным для Pika. Используйте этот выход, чтобы судить о стабильности идентичности, целостности лица, плавности движения и о том, как синтезированные звуки соответствуют вашим указаниям "Audio:".
Обычная выборка - Turbo LoRA#
Эта ветвь зеркально отражает путь Pika, но заменяет его на MiniMax H3 Turbo LoRA. Используется тот же выборщик из восьми шагов, семя, подсказка и математика кадров, чтобы тест был честным. Декодирование использует те же VAE, затем VHS_VideoCombine записывает второй MP4 с префиксом Turbo. Сравнение двух файлов бок о бок выявляет компромиссы в текстуре, агрессивности движения и детализации аудио между маршрутами Pika H3 Flex Turbo и MiniMax H3 Turbo.
Ключевые узлы в рабочем процессе Comfyui Pika H3 Flex ComfyUI#
MiniMaxH3ReferenceToVideo (#6617)#
Централизует Ref2VA, объединяя ваши два референса, подсказку и целевые размеры в одно позитивное условие и начальное латентное состояние. Регулируйте здесь только основные параметры: подсказку сцены, выбор и порядок референсных изображений, а также продолжительность/размер, которые подходят для вашего кадра. Сохраняйте те же настройки при сравнении ветвей, чтобы различия отражали LoRA, а не условие. Узел предназначен для управления как видео, так и стерео аудио, которые декодируются ниже с использованием MiniMax H3 VAE, описанных в их карточке модели.
Resolution Selector (Size) (#6345)#
Выбирает соотношение сторон и мегапиксели, затем возвращает ширину и высоту, выровненные по кратным 32, для эффективного декодирования. Используйте его как единственное место для задания размеров обеих ветвей, что минимизирует артефакты ресемплинга и сохраняет детализацию каждого кадра постоянной. Увеличение разрешения повышает вычислительные затраты и снижает запас времени на шаг, поэтому увеличивайте его постепенно при тонкой настройке внешнего вида и движения.
StringConcatenate (#6346)#
Применяет компактный праймер реализма перед вашей подсказкой. Если вы предпочитаете другой тон или стилизацию, замените или удалите праймер, чтобы ваши собственные формулировки доминировали. Сохранение этого узла постоянным в различных запусках помогает сохранить целостность A/B при тестировании нюансов изменений формулировок.
BasicScheduler (#6742, #6767)#
Обеспечивает восьмишаговый график, оптимизированный для быстрых стабильных результатов в этой настройке Ref2VA. Меньшее количество шагов обменивает детализацию на скорость, в то время как больше шагов добавляют утонченность за счет времени. Для чистых A/B между ветвями держите шаги идентичными.
VHS_VideoCombine (#6758, #6776)#
Соединяет декодированные кадры и стерео аудио в финальные MP4 файлы. Контролируйте формат и частоту кадров здесь, и держите обе ветви синхронизированными. Если вы изменяете продолжительность выше, подтвердите настройки писателя, чтобы аудио и видео оставались согласованными.
Дополнительные опции#
- Подготовьте оба референсных изображения с похожей позой, освещением и обрезкой, чтобы улучшить стабильность идентичности и уменьшить дрейф лица.
- Если на объект попадает сложный фон, попробуйте более сильное матирование или предоставьте более чистые вырезы; вы также можете обойти удаление фона, если ваши референсы уже хорошо изолированы.
- Сохраняйте одно и то же семя при сравнении Pika с Turbo; изменяйте только один фактор за раз.
- Начните с умеренной настройки мегапикселей, подтвердите ощущение движения и аудио, затем увеличьте разрешение, как только вам понравится композиция.
- Для диалогов или конкретных шумов сформулируйте вашу строку "Audio:" кратко; атмосферные подсказки и простые действия, как правило, синтезируются наиболее надежно.
Ресурсы для моделей, используемых в этом рабочем процессе Pika H3 Flex ComfyUI:
- Pika-Labs/Pika-H3-Flex
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Comfy-Org/MiniMax-H3
- kijai/ComfyUI-KJNodes
- kosinkadink/ComfyUI-VideoHelperSuite
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы выражаем благодарность Pika-Labs за Pika-H3-Flex и Pika-H3-Flex-Turbo-LoRA, WarmBloodAban за Minimax-h3_Singularity и Innovate Futures @ Benji за "Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI" за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- Innovate Futures @ Benji/Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Документация / Примечания к выпуску: Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Hugging Face: WarmBloodAban/Minimax-h3_Singularity
- Pika-Labs/Pika-H3-Flex
- GitHub: Pika-Labs/Pika-H3-Flex
- Hugging Face: Pika-Labs/Pika-H3-Flex
Примечание: использование указанных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.