ComfyUI>Рабочие процессы>LongCat Video Avatar 1.6 | Видео с синхронизацией по губам

LongCat Video Avatar 1.6 | Видео с синхронизацией по губам

Workflow Name: RunComfy/LongCat-Avatar-1.6
Workflow ID: 0000...1567
Анимируйте ваше референсное изображение с LongCat Avatar 1.6. Добавьте речь для синхронизированного по губам MP4. Создавайте одиночных ведущих. Стройте диалоги двух человек. Назначайте голоса с помощью SAM 3.1 масок. Переключайтесь между выделенными группами холстов.

LongCat Video Avatar 1.6 ComfyUI Workflow Workflow

LongCat Video Avatar 1.6 ComfyUI | SAM 3.1 Lip Sync
Want to run this workflow?
  • Fully operational workflows
  • No missing nodes or models
  • No manual setups required
  • Features stunning visuals

LongCat Video Avatar 1.6 ComfyUI Workflow Examples

LongCat Video Avatar 1.6 ComfyUI Workflow#

LongCat Video Avatar 1.6 ComfyUI Workflow превращает одно референсное изображение и одну или две звуковые дорожки в чистое, синхронизированное по губам MP4. Он поставляется с двумя группами холстов: диалогом двух спикеров по умолчанию, который назначает голоса лицам с помощью SAM 3.1 масок, и монологом для одного спикера для ведущих или персонажей. Создатели, педагоги и продуктовые команды могут быстро создавать говорящих аватаров со стабильной идентичностью, естественными формами рта и мягкими движениями головы.

Внутри граф разбивает длинные сценарии на короткие перекрывающиеся фрагменты, генерирует кадры для каждого фрагмента с помощью LongCat Video Avatar 1.6, обрезает перекрытие, затем сшивает фрагменты обратно вместе, прикрепляя полный звуковой трек. Результатом является плавное, точно передающее голос видео, которое уважает ваш запрос и композицию.

Ключевые модели в Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#

  • Meituan LongCat Video Avatar 1.6. Основная модель аватара, которая превращает речевые характеристики плюс изображение идентичности в синхронизированные по губам кадры, сохраняя внешний вид. Model card
  • LongCat Video Avatar адаптеры (DMD и OPSD) упакованы для ComfyUI. Дополнительные адаптеры, которые выравнивают поведение выборки с выпущенным конвейером. Weights
  • Whisper Large V3 encoder. Извлекает надежные речевые характеристики, которые управляют формами рта и коартикуляцией. Model
  • Segment Anything (SAM) семейство. Обеспечивает высококачественные маски людей, чтобы каждая звуковая дорожка анимировала правильное лицо в кадрах диалога. Repository

Как использовать Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#

Общий поток

  • Выберите одну группу для запуска. Граф разбивает аудио на перекрывающиеся фрагменты, генерирует кадры для каждого фрагмента с помощью LongCat, декодирует их в изображения, удаляет повторяющееся перекрытие и объединяет фрагменты в одно видео с вашим полным звуковым треком.

Диалог двух спикеров · по умолчанию

  • Загрузите одно изображение, показывающее обоих людей в кадре с использованием Стартового изображения. Добавьте две звуковые дорожки, по одной на каждого спикера, в Voice A и Voice B. Пример проекта направляет первую реплику к женщине слева, затем вторую реплику к мужчине справа.
  • SAM 3.1 узлы обнаруживают каждого человека и выдают две маски. Измените короткие текстовые подсказки, которые читаются как женщина и мужчина, чтобы соответствовать вашей фотографии, если это необходимо. Используйте предварительные просмотры масок, чтобы подтвердить, что левые и правые лица четко разделены.
  • Положительные и отрицательные подсказки дают высокоуровневое руководство по камере и качеству. Держите их описательными и фактическими, чтобы сохранить идентичность и непрерывность освещения.
  • Длина фрагмента и перекрытие контролируют, сколько кадров генерируется за проход и насколько плавно сливаются фрагменты. Более длинные фрагменты уменьшают количество проходов, а большее перекрытие смягчает переходы.
  • Очередь холста для генерации и сохранения видео диалога. Два узла Сохранить видео используют разные префиксы имен файлов, чтобы рендеры диалога и монолога не перезаписывали друг друга.

Монолог одного спикера · обходится по умолчанию

  • Загрузите изображение одного человека и один аудиофайл. Та же звуковая дорожка управляет продолжительностью, кондиционированием и финальным звуковым треком.
  • Узел LongCat одного спикера использует все изображение, поэтому маскировка не требуется. Держите объект лицом вперед с умеренным пространством над головой для лучшей читаемости губ.
  • Настройте Положительные и Отрицательные подсказки, чтобы они соответствовали вашему стилю на камере. Затем поставьте в очередь холст, чтобы отрендерить и сохранить видео монолога.

Переключение между режимами

  • В меню Группы запускайте только одну группу за раз. Установите нужный режим на Всегда и другой на Обход. При возврате к Диалогу держите обходной вариант Optional OPSD отключенным, если вы специально не хотите этот вариант.

Ключевые узлы в Comfyui LongCat Video Avatar 1.6 ComfyUI Workflow#

LongCatAvatarToVideo (#100) · Диалог

  • Основной генератор для сцен двух спикеров. Он берет стартовое изображение, две закодированные звуковые дорожки и две SAM маски, чтобы каждый голос анимировал правильное лицо. Настраивайте только то, что важно: длина сегмента против перекрытия для временной плавности и сила аудио, если вам нужна более четкая артикуляция губ. Узел также получает смещение кадра из цикла, чтобы каждый сегмент попал в правильное положение во времени. Смотрите введение в нативный узел для фона. ComfyUI PR

LongCatAvatarToVideo (#300) · Монолог

  • Вариант одного спикера управляет одним лицом с одной звуковой дорожки. Используйте его, когда виден только один объект. Применяйте те же рекомендации: настройте длину сегмента и перекрытие для длины вашего сценария и держите силу аудио умеренной, чтобы сбалансировать точность губ и стабильность лица. ComfyUI PR

SAM3_Detect (#147) маска Спикера A и SAM3_Detect (#150) маска Спикера B

  • Эти узлы обнаруживают людей на стартовом изображении и выдают чистые маски. Они принимают краткие текстовые метки, которые вы можете изменить, чтобы отразить ваши объекты. Если маски протекают, подправьте подсказки или предоставьте простые коробки или точки; используйте встроенные предварительные просмотры масок для проверки разделения. Для фона SAM смотрите оригинальную статью и репозиторий. Paper · Repo

StartLoop · Сегменты (подграф "Loop Start")

  • Автоматизирует длинные сценарии, вычисляя, сколько сегментов нужно из длительности аудио, длины сегмента и перекрытия. Он увеличивает семя между проходами для естественного разнообразия и выдает смещение кадра, чтобы каждый проход начинался в правильном положении на временной шкале. Цикл подает предыдущие кадры обратно в генерацию для поддержания непрерывности между монтажами.

SamplerCustom в паре с BasicScheduler и SplitSigmas

  • Рабочий процесс использует двухступенчатый сэмплер на сегмент, работающий на более высоких, затем более низких диапазонах шума для стабильности движения. Держите сэмплер и расписание по умолчанию, если у вас нет причин для экспериментов; поставленная конфигурация соответствует поведению официального выпуска LongCat. Weights · Model card

Дополнительные возможности#

  • Идентичность в первую очередь. Используйте четкое, фронтальное референсное изображение с нейтральными губами и равномерным освещением. Небольшие повороты головы допустимы; большие повороты или преграды уменьшают четкость губ.
  • Настройка диалога. Если ваши спикеры перекрываются или пересекаются, отрегулируйте подсказки SAM или уточните маски, чтобы каждый голос управлял только одним лицом.
  • Подготовка аудио. Используйте чистые, монофонические WAV файлы без сильного шумоподавления. Обрежьте начальные и конечные тишины, чтобы сохранить точность времени.
  • Подсказки. Держите Положительные подсказки конкретными и на уровне сцены. Используйте Отрицательную подсказку, чтобы исключить артефакты, такие как переэкспонирование, дрожь или замороженные губы.
  • Варианты. Дополнительный OPSD blend предоставляется для экспериментов, но по умолчанию обходится, чтобы отражать опубликованный конвейер. Weights

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим команду Meituan LongCat за модель LongCat-Video-Avatar 1.6, Comfy-Org за веса LongCat-Video-Avatar для ComfyUI и Comfy-Org/ComfyUI за нативные узлы LongCat Avatar и исходный рабочий процесс за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.

Ресурсы#

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и разработчиками.

Want More ComfyUI Workflows?

RunComfy
Авторское право 2026 RunComfy. Все права защищены.

RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Models, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.