LongCat Video Avatar 1.6 ComfyUI Workflow#
LongCat Video Avatar 1.6 ComfyUI Workflow превращает одно референсное изображение и одну или две звуковые дорожки в чистое, синхронизированное по губам MP4. Он поставляется с двумя группами холстов: диалогом двух спикеров по умолчанию, который назначает голоса лицам с помощью SAM 3.1 масок, и монологом для одного спикера для ведущих или персонажей. Создатели, педагоги и продуктовые команды могут быстро создавать говорящих аватаров со стабильной идентичностью, естественными формами рта и мягкими движениями головы.
Внутри граф разбивает длинные сценарии на короткие перекрывающиеся фрагменты, генерирует кадры для каждого фрагмента с помощью LongCat Video Avatar 1.6, обрезает перекрытие, затем сшивает фрагменты обратно вместе, прикрепляя полный звуковой трек. Результатом является плавное, точно передающее голос видео, которое уважает ваш запрос и композицию.
Ключевые модели в Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#
- Meituan LongCat Video Avatar 1.6. Основная модель аватара, которая превращает речевые характеристики плюс изображение идентичности в синхронизированные по губам кадры, сохраняя внешний вид. Model card
- LongCat Video Avatar адаптеры (DMD и OPSD) упакованы для ComfyUI. Дополнительные адаптеры, которые выравнивают поведение выборки с выпущенным конвейером. Weights
- Whisper Large V3 encoder. Извлекает надежные речевые характеристики, которые управляют формами рта и коартикуляцией. Model
- Segment Anything (SAM) семейство. Обеспечивает высококачественные маски людей, чтобы каждая звуковая дорожка анимировала правильное лицо в кадрах диалога. Repository
Как использовать Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#
Общий поток
- Выберите одну группу для запуска. Граф разбивает аудио на перекрывающиеся фрагменты, генерирует кадры для каждого фрагмента с помощью LongCat, декодирует их в изображения, удаляет повторяющееся перекрытие и объединяет фрагменты в одно видео с вашим полным звуковым треком.
Диалог двух спикеров · по умолчанию
- Загрузите одно изображение, показывающее обоих людей в кадре с использованием Стартового изображения. Добавьте две звуковые дорожки, по одной на каждого спикера, в Voice A и Voice B. Пример проекта направляет первую реплику к женщине слева, затем вторую реплику к мужчине справа.
- SAM 3.1 узлы обнаруживают каждого человека и выдают две маски. Измените короткие текстовые подсказки, которые читаются как женщина и мужчина, чтобы соответствовать вашей фотографии, если это необходимо. Используйте предварительные просмотры масок, чтобы подтвердить, что левые и правые лица четко разделены.
- Положительные и отрицательные подсказки дают высокоуровневое руководство по камере и качеству. Держите их описательными и фактическими, чтобы сохранить идентичность и непрерывность освещения.
- Длина фрагмента и перекрытие контролируют, сколько кадров генерируется за проход и насколько плавно сливаются фрагменты. Более длинные фрагменты уменьшают количество проходов, а большее перекрытие смягчает переходы.
- Очередь холста для генерации и сохранения видео диалога. Два узла Сохранить видео используют разные префиксы имен файлов, чтобы рендеры диалога и монолога не перезаписывали друг друга.
Монолог одного спикера · обходится по умолчанию
- Загрузите изображение одного человека и один аудиофайл. Та же звуковая дорожка управляет продолжительностью, кондиционированием и финальным звуковым треком.
- Узел LongCat одного спикера использует все изображение, поэтому маскировка не требуется. Держите объект лицом вперед с умеренным пространством над головой для лучшей читаемости губ.
- Настройте Положительные и Отрицательные подсказки, чтобы они соответствовали вашему стилю на камере. Затем поставьте в очередь холст, чтобы отрендерить и сохранить видео монолога.
Переключение между режимами
- В меню Группы запускайте только одну группу за раз. Установите нужный режим на Всегда и другой на Обход. При возврате к Диалогу держите обходной вариант Optional OPSD отключенным, если вы специально не хотите этот вариант.
Ключевые узлы в Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#
LongCatAvatarToVideo (#100) · Диалог
- Основной генератор для сцен двух спикеров. Он берет стартовое изображение, две закодированные звуковые дорожки и две SAM маски, чтобы каждый голос анимировал правильное лицо. Настраивайте только то, что важно: длина сегмента против перекрытия для временной плавности и сила аудио, если вам нужна более четкая артикуляция губ. Узел также получает смещение кадра из цикла, чтобы каждый сегмент попал в правильное положение во времени. Смотрите введение в нативный узел для фона. ComfyUI PR
LongCatAvatarToVideo (#300) · Монолог
- Вариант одного спикера управляет одним лицом с одной звуковой дорожки. Используйте его, когда виден только один объект. Применяйте те же рекомендации: настройте длину сегмента и перекрытие для длины вашего сценария и держите силу аудио умеренной, чтобы сбалансировать точность губ и стабильность лица. ComfyUI PR
SAM3_Detect (#147) маска Спикера A и SAM3_Detect (#150) маска Спикера B
- Эти узлы обнаруживают людей на стартовом изображении и выдают чистые маски. Они принимают краткие текстовые метки, которые вы можете изменить, чтобы отразить ваши объекты. Если маски протекают, подправьте подсказки или предоставьте простые коробки или точки; используйте встроенные предварительные просмотры масок для проверки разделения. Для фона SAM смотрите оригинальную статью и репозиторий. Paper · Repo
StartLoop · Сегменты (подграф "Loop Start")
- Автоматизирует длинные сценарии, вычисляя, сколько сегментов нужно из длительности аудио, длины сегмента и перекрытия. Он увеличивает семя между проходами для естественного разнообразия и выдает смещение кадра, чтобы каждый проход начинался в правильном положении на временной шкале. Цикл подает предыдущие кадры обратно в генерацию для поддержания непрерывности между монтажами.
SamplerCustom в паре с BasicScheduler и SplitSigmas
- Рабочий процесс использует двухступенчатый сэмплер на сегмент, работающий на более высоких, затем более низких диапазонах шума для стабильности движения. Держите сэмплер и расписание по умолчанию, если у вас нет причин для экспериментов; поставленная конфигурация соответствует поведению официального выпуска LongCat. Weights · Model card
Дополнительные возможности#
- Идентичность в первую очередь. Используйте четкое, фронтальное референсное изображение с нейтральными губами и равномерным освещением. Небольшие повороты головы допустимы; большие повороты или преграды уменьшают четкость губ.
- Настройка диалога. Если ваши спикеры перекрываются или пересекаются, отрегулируйте подсказки SAM или уточните маски, чтобы каждый голос управлял только одним лицом.
- Подготовка аудио. Используйте чистые, монофонические WAV файлы без сильного шумоподавления. Обрежьте начальные и конечные тишины, чтобы сохранить точность времени.
- Подсказки. Держите Положительные подсказки конкретными и на уровне сцены. Используйте Отрицательную подсказку, чтобы исключить артефакты, такие как переэкспонирование, дрожь или замороженные губы.
- Варианты. Дополнительный OPSD blend предоставляется для экспериментов, но по умолчанию обходится, чтобы отражать опубликованный конвейер. Weights
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим команду Meituan LongCat за модель LongCat-Video-Avatar 1.6, Comfy-Org за веса LongCat-Video-Avatar для ComfyUI и Comfy-Org/ComfyUI за нативные узлы LongCat Avatar и исходный рабочий процесс за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Ресурсы#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- Docs / Release Notes: LongCat-Video-Avatar-1.6 Tech Report (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — Support LongCatAvatar (CORE-720)
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и разработчиками.
