LongCat 视频头像 1.6 ComfyUI 工作流程#
LongCat 视频头像 1.6 ComfyUI 工作流程将单个参考图像和一到两个语音轨道转换为干净的、唇同步的 MP4。它配备了两个画布组:一个默认的双人对话,将声音分配给带有 SAM 3.1 面具的面部,以及一个用于展示或角色的单人独白。创作者、教育者和产品团队可以快速制作具有稳定身份、自然嘴型和柔和头部动作的讲话头像。
在后台,图形将较长的脚本分割成短的重叠块,为每个块生成帧,然后修剪重叠部分,并在附加完整音轨的同时将段落拼接在一起。结果是一个流畅、语音准确的视频,尊重您的提示和构图。
Comfyui LongCat 视频头像 1.6 ComfyUI 工作流程中的关键模型#
- Meituan LongCat 视频头像 1.6。核心头像模型,将语音特征和身份图像转换为唇同步帧,同时保留外观。模型卡
- LongCat 视频头像适配器 (DMD 和 OPSD) 打包用于 ComfyUI。可选适配器,使采样行为与发布的管道对齐。权重
- Whisper Large V3 编码器。提取驱动嘴型和连音的稳健语音特征。模型
- Segment Anything (SAM) 系列。提供高质量的人物面具,以便每条语音轨道在对话镜头中为正确的面部动画。资源库
如何使用 Comfyui LongCat 视频头像 1.6 ComfyUI 工作流程#
整体流程
- 选择一个组进行运行。图形将音频分割为重叠片段,为每个片段生成帧,解码为图像,去除重复的重叠部分,并将片段连接成一个包含完整音轨的视频。
双人对话 · 默认
- 使用开始图像加载一个显示两个人的图像。为每个演讲者添加两个语音轨道,分别是语音 A 和语音 B。示例项目将第一行路由到左侧的女性,然后将第二行路由到右侧的男性。
- SAM 3.1 节点检测每个人并输出两个面具。如有需要,修改读取“woman”和“man”的短文本提示以匹配您的照片。使用面具预览确认左侧和右侧的面部分离干净。
- 正面和负面提示提供高级别的相机和质量指导。保持描述性和事实性,以保持身份和光照连续性。
- 段长和重叠控制每次生成的帧数以及段落的平滑融合。较长的段落减少通过次数,更多的重叠软化过渡。
- 排队画布以生成和保存对话视频。两个保存视频节点使用不同的文件名前缀,因此对话和独白渲染不会相互覆盖。
单人独白 · 默认旁路
- 加载一个单人参考图像和一个音频文件。相同的语音轨道驱动持续时间、条件和最终音轨。
- 单人 LongCat 节点使用整个图像,因此不需要遮罩。保持主体正面朝向,头部适度,以获得最佳唇部可读性。
- 调整正面和负面提示以匹配您的摄像风格。然后排队画布以渲染和保存独白视频。
在模式之间切换
- 在组菜单中,一次只运行一个组。将您想要的模式设置为“Always”,并将其他模式设置为“Bypass”。返回对话时,保持可选 OPSD 混合旁路,除非您特别需要该变体。
Comfyui LongCat 视频头像 1.6 ComfyUI 工作流程中的关键节点#
LongCatAvatarToVideo (#100) · 对话
- 双人场景的核心生成器。它需要开始图像、两个编码的音轨和两个 SAM 面具,以便每个声音为正确的面部动画。只调整重要的内容:段长与重叠的时间平滑度,以及如果您需要更清晰的嘴部发音,则调整音频强度。该节点还从循环接收帧偏移,以便每个片段在时间上落在正确的位置。有关背景,请参阅本机节点介绍。ComfyUI PR
LongCatAvatarToVideo (#300) · 独白
- 单人变体从一个音轨驱动一个面部。当只有一个主体可见时使用。相同的指导适用:根据您的脚本长度调整段长和重叠,并保持音频强度适中,以平衡唇部准确性和面部稳定性。ComfyUI PR
SAM3_Detect (#147) 演讲者 A 面具和 SAM3_Detect (#150) 演讲者 B 面具
- 这些在开始图像中检测人并产生干净的面具。它们接受简短的文本标签,您可以更改这些标签以反映您的主体。如果面具泄漏,请微调提示或提供简单的框或点;使用内置的面具预览来验证分离。有关 SAM 背景,请参阅原始论文和资源库。论文 · 资源库
StartLoop · 段落(子图“循环开始”)
- 通过计算音频持续时间、段长和重叠来自动化长脚本所需的段数。它在通过之间增加种子以实现自然变化,并输出帧偏移,以便每次通过从正确的时间线位置开始。循环将前一帧反馈到生成中,以保持剪辑之间的连续性。
SamplerCustom 与 BasicScheduler 和 SplitSigmas 配对
- 工作流程在每个片段上使用两阶段采样器,先在较高然后在较低噪声范围内操作,以实现运动稳定性。除非您有理由进行实验,否则请保持默认采样器和计划;提供的配置与官方 LongCat 版本行为相匹配。权重 · 模型卡
可选额外功能#
- 身份优先。使用清晰的、正面朝向的参考,嘴唇自然且光照一致。小幅度的头部转动是可以接受的;较大的偏航或遮挡会降低唇部清晰度。
- 对话设置。如果您的演讲者重叠或交叉,调整 SAM 提示或完善面具,以便每个声音仅控制一个面部。
- 音频准备。使用干净的、单声道的 WAV 文件,不进行重度降噪。修剪前后的静音以保持时间紧凑。
- 提示。保持正面提示具体且场景级别。使用负面提示排除过曝、抖动或嘴部冻结等伪影。
- 变体。可选的 OPSD 混合用于实验,但默认情况下旁路以镜像发布的管道。权重
鸣谢#
该工作流程实现并基于以下作品和资源进行构建。我们感谢美团 LongCat 团队提供的 LongCat-视频-头像 1.6 模型,Comfy-Org 提供的 ComfyUI LongCat-视频-头像权重,以及 Comfy-Org/ComfyUI 提供的本机 LongCat 头像节点和源工作流程的贡献和维护。有关权威详细信息,请参阅下文链接的原始文档和资源库。
资源#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- 文档 / 发布说明: LongCat-视频-头像-1.6 技术报告 (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — 支持 LongCatAvatar (CORE-720)
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
注意:引用的模型、数据集和代码的使用受其作者和维护者提供的各自许可和条款的约束。
