MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио

MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио#

MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио заменяет человека на экране в исходном видео на референсного персонажа, сохраняя при этом оригинальный саундтрек. Холст сочетает Character Swap V1.5 LoRA от Akatz Labs, SAM3 маскирование человека и историю H3 Relay для переноса исходного исполнения через несколько окон генерации, чтобы поддерживать идентичность и непрерывность времени.

Этот рабочий процесс ComfyUI предназначен для редакторов, команд предварительной визуализации и создателей, которые хотят быстро заменить персонажей, согласованных с источником, без потери исполнения в аудио. Протестированные примеры включают реалистичных людей, аниме-персонажа и робота. Формы рта, руки и соединения окон все еще требуют проверки, поэтому планируйте проверку швов и артикуляции в финальном рендере. MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио полностью работает на семействе видеомоделей H3 с легкими настройками, которые можно подстроить под каждый кадр.

Ключевые модели в рабочем процессе Comfyui MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио#

• Comfy-Org MiniMax H3 Ref2VA U-Net. Основная видеодиффузионная основа для генерации, обусловленной аудио, в H3. Превращает шум в связное видео, уважая референсные указания и маску редактирования. Файлы модели
• MiniMax H3 видео VAE. Кодирует и декодирует видео латенты для H3, чтобы окна отображались чисто при выбранном разрешении. Карта модели
• MiniMax H3 аудио VAE. Упаковывает и распаковывает аудио латенты, используемые H3 для выравнивания ритма речи и губ с исходной дорожкой. Карта модели
• Qwen3-VL 32B текстовый энкодер для H3. Интерпретирует ваш запрос и референсное условие, чтобы замена персонажа и заметки об исполнении применялись последовательно. Включено в пакет модели H3. Файлы
• Akatz Labs Character Swap V1.5 LoRA (h3_character_swap_v1.5.safetensors). Обучает H3, как сопоставить входной объект с идентичностью целевого персонажа, сохраняя позу и исполнение. Репозиторий
• MiniMax H3 FL2V Turbo 8-step LoRA. Быстрый адаптер расписания, который ускоряет выборку H3 с 8 шагами для быстрой генерации видео на основе окон. Репозиторий
• SAM 3.1 мультиплекс контрольная точка. Обнаруживает и отслеживает человека для замены, создавая надежные маски для движущихся объектов. Репозиторий
• H3 Relay набор инструментов. Обеспечивает планирование окон на основе истории, восстановление/расширение масок, зацикливание и сборку окон для непрерывности по всему клипу. GitHub
• Исходный рабочий процесс. Метод замены персонажей и LoRA взяты из Akatz Labs и адаптированы здесь для H3 Relay. GitHub

Как использовать рабочий процесс Comfyui MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио#

Холст следует простому пути от входных данных к сшитому видео: вы предоставляете исходный клип и референсное изображение персонажа, SAM находит и отслеживает заменяемого человека, H3 Relay планирует окна с переносом истории, H3 генерирует отредактированные кадры внутри маски, затем рабочий процесс собирает все обратно с оригинальным аудио. Группы на холсте организованы так, чтобы вы могли работать сверху вниз и проверять на естественных контрольных точках.

01 · Входные данные пользователя#

Загрузите свой клип в Source video, затем добавьте одно изображение персонажа или лист в Character reference · Picture 1. H3RelayPrepareSource выравнивает кадры по сетке модели и отображает фактическую ширину, высоту, количество кадров и аудио. Узел излучает чистую партию кадров и оригинальный саундтрек, который позже становится гидом. Начните с простого, с одного непрерывного кадра.

02 · Модели H3 и LoRA#

H3 Ref2VA · INT8 загружает основу диффузии MiniMax H3. Текстовый энкодер, видео VAE и аудио VAE подключаются автоматически. Две LoRA находятся сверху H3: FL2V Turbo · 8-step для быстрой выборки и Character Swap V1.5 · strength для передачи идентичности. Это сочетание позволяет MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио работать быстро, сохраняя стиль персонажа.

03 · Выбор человека SAM и маски#

SAM3_Detect находит людей на первом кадре на основе SAM person description. H3RelaySelectMask выбирает объект, затем SAM3_VideoTrack отслеживает эту маску по всей партии кадров. H3RelayRecoverMasks устраняет пробелы, а H3RelayExpandMask расширяет область, чтобы охватить волосы и руки, чтобы правки идентичности не оставляли ореолов. Предварительный просмотр помогает подтвердить, что расширенная маска человека соответствует предполагаемому объекту.

04 · Планирование окон H3 Relay#

H3RelayWindowPlan создает окна с учетом перекрытия, рассчитанные для H3 с меньшей частью истории, перенесенной вперед для непрерывности. StartLoop и H3RelayWindowInputs подают кадры, маски и аудио по окнам в генерацию. Здесь источник делится на управляемые части для переноса контекста между последовательными окнами непрерывного кадра. Разрезы сцен требуют отдельной проверки. MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио использует этот план, чтобы сохранить семена и диапазоны детерминированными для воспроизводимого прохода.

05 · Условие референса и гиды#

MiniMaxH3ReferenceToVideo превращает ваше изображение персонажа и запрос на исполнение в условие для H3. H3RelayApplyHistory вводит кадры и аудио предыдущего окна как мягкое руководство для следующего. H3RelayApplyEditMask смешивает отслеживаемую область редактирования с текущим латентом, чтобы ограничить редактирование; это не гарантирует пиксельно идентичную сохранность фона. MiniMaxH3AddGuide позволяет добавить родное целевое руководство из аудио окна, чтобы губы и выражения следовали оригинальному саундтреку.

06 · Выборка и декодирование#

H3RelaySamplingMemory, CFGGuider, KSamplerSelect и SamplerCustomAdvanced запускают цикл генерации окно за окном, используя адаптированную LoRA модель H3. LTXVSeparateAVLatent и VAEDecode декодируют визуалы обратно в кадры, готовые к сборке. Эти элементы обрабатывают тяжелую нагрузку и поддерживают предсказуемую память. Большинство пользователей могут оставить их как есть для первого прохода.

07 · Сборка и вывод H3 Relay#

H3RelayAppendWindow накапливает окна по порядку, обрезая перекрытие по мере необходимости. H3RelayFinishWindows выводит кадры и снова прикрепляет оригинальное аудио, чтобы время и речь оставались верными источнику. CreateVideo и Save final video записывают результат на диск. Проверьте соединения окон, формы рта, руки и окклюзии, затем повторите при необходимости. MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио оптимизирован для быстрых циклов проверки на коротких кадрах.

Ключевые узлы в рабочем процессе Comfyui MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио#

• H3RelayWindowPlan Создает расписание генерации и историю перекрытий. Протестированные примеры используют окна на 124 кадра и историю на 18 кадров при 24 кадрах в секунду. Каждый клип длительностью 12.25 секунд охватывает три окна. Проверьте оба соединения на местные изменения внешнего вида или движения; это не гарантирует бесшовное продолжение.
• MiniMaxH3ReferenceToVideo Строит основное условие из вашего изображения персонажа и запроса на фактической ширине, высоте и длине по окнам. Используйте одно изображение или лист, верное идентичности, и четко укажите, что несколько видов изображают одного и того же персонажа. Держите инструкции по исполнению краткими и связанными с исходным аудио и жестами. Если идентичность уходит, усилите описание идентичности и упростите модификаторы стиля.
• H3RelayApplyEditMask Использует отслеживаемую маску и закодированные исходные кадры, чтобы ограничить генерацию. Проверьте покрытие маски вокруг волос и движущихся конечностей. Протестированный график не композитирует сгенерированное тело обратно на нетронутые исходные пиксели, поэтому окружающие детали все еще могут изменяться.
• MiniMaxH3AddGuide Использует исходное аудио текущего окна как родное руководство. Это поддерживает движение, связанное с речью, но сохранение саундтрека не гарантирует точную синхронизацию губ. Открытый узел в этом графике не имеет регулировки силы руководства.
• LoraLoaderModelOnly · Character Swap V1.5 Загружает официальный адаптер h3_character_swap_v1.5.safetensors при протестированной силе 1.0. Изменения силы могут изменить результат, но нет проверенного правила, что уменьшение силы улучшает движение губ, а увеличение блокирует детали костюма.
• SamplerCustomAdvanced плюс CFGGuider Запускает протестированный рецепт Turbo: 8 шагов, CFG 1, er_sde и normal расписание. Начните с этих настроек по умолчанию; изменения шагов или руководства требуют нового сравнения и не гарантируют улучшения качества.
• SAM3_Detect и SAM3_VideoTrack Управляют обнаружением и отслеживанием человека для области редактирования. Используйте четкое SAM person description, чтобы склонить к вашему объекту, когда видно несколько человек. Если отслеживание соскальзывает в местах окклюзий, настройте чувствительность обнаружения или повторно выберите объект перед повторным отслеживанием. Цель — стабильная маска, следящая за предполагаемым исполнителем.
• H3RelayFinishWindows Собирает финальные кадры и сохраняет аудио в режиме source, чтобы оригинальный саундтрек проходил через. Держите source выбранным, когда требуется сохранение оригинального аудио. Этот узел является последним качественным барьером перед кодированием.

Дополнительные опции#

• Для первых проходов выбирайте кадры с устойчивым освещением и минимальными резкими панорамами.
• Используйте одно референсное изображение, верное идентичности, с нейтральным выражением и видимой линией волос.
• Держите ширину и высоту кратными 32 и соответствуйте аспектному соотношению источника для эффективного использования памяти.
• При скачущем шве протестируйте другой допустимый план окна и повторно запустите зависимую последовательность окон, так как более поздние окна используют более раннюю историю.
• Всегда проверяйте губы, руки, края волос и соединения окон на 100 процентов перед доставкой.

MiniMax H3 Замена Персонажей V1.5 с Оригинальным Аудио сочетает согласованное по времени с источником, направляемую референсом генерацию персонажей и управления историей окон, чтобы вы могли быстро переходить от теста к финалу. Для более глубокого контекста по методу и активам, смотрите ссылки Akatz Labs выше.

Благодарности#

Этот рабочий процесс реализует и опирается на следующие работы и ресурсы. Мы с благодарностью признаем Akatz Labs за рабочий процесс H3 Character Swap Tool, Akatz AI за MiniMax H3 Character Swap LoRA (v1.5) и H3 Relay, а также Comfy-Org за базовые модели MiniMax H3 за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, связанным ниже.

Ресурсы#

• Исходный рабочий процесс Akatz Labs
  • GitHub: akatz-labs/h3-character-swap-tool
• Character Swap V1.5 LoRA
  • Hugging Face: akatz-ai/MiniMax-H3-Character-Swap-LoRA
• H3 Relay
  • GitHub: akatz-ai/h3-relay
• Базовые модели MiniMax H3
  • Hugging Face: Comfy-Org/MiniMax-H3

Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.