ComfyUI Phantom | 主体到视频
ComfyUI Phantom 是一个用于单主体和多主体参考的统一视频生成框架,基于现有的文本到视频和图像到视频架构。通过重新设计联合文本图像注入模型,它通过文本-图像-视频三重数据实现跨模态对齐。此外,它强调在人类生成中的主体一致性,同时增强保留身份的视频生成。 简单来说,ComfyUI Phantom 允许您根据参考图像和文本提示生成视频,非常适合身份一致的人物视频合成。ComfyUI Phantom Workflow
ComfyUI Phantom Examples
ComfyUI Phantom Description
ComfyUI Phantom: 主体到视频
ComfyUI Phantom 是一个强大的主体一致性视频生成模型,集成在 ComfyUI 工作流环境中。此 ComfyUI Phantom 实现使得可以从一个或多个参考图像中生成高质量的、身份一致的视频,并在熟悉的 ComfyUI 界面中由描述性文本提示引导。
基于先进的文本到视频和图像到视频架构,ComfyUI Phantom 专注于生成以人为中心的运动,同时保持主体身份。通过统一的联合文本图像注入方法,ComfyUI Phantom 实现了精确的跨模态对齐——确保表达性、帧一致的输出,遵循提供的参考的结构和外观。
为什么使用 ComfyUI Phantom?
ComfyUI Phantom 提供:
- 基于参考的生成:输入一个或多个参考图像以指导 ComfyUI Phantom 工作流中的主体外观
- 提示 + 图像控制:将创意文本描述与图像保真度结合使用 ComfyUI Phantom 节点
- 身份保留:ComfyUI Phantom 保持各帧之间的主体一致性
- 多主体支持:使用参考输入生成包含多个主体的视频
- ComfyUI 集成:与现有 ComfyUI 工作流和自定义节点无缝集成
- 理想的创作者工具:适合 VTubers、风格化角色创作者和使用 ComfyUI Phantom 的叙事视频艺术家
无论您是在动画角色还是生成参考驱动的 AI 运动,ComfyUI Phantom 都为您提供了一个灵活而强大的视觉故事工具包,适用于 ComfyUI 生态系统。
1 - ComfyUI Phantom 中的参考
第一部分处理您的 ComfyUI Phantom 设置的参考上传:
在 ComfyUI Phantom 工作流中加载您的驱动参考图像。您可以在各自的组中上传最多 4 张参考图像。默认情况下,ComfyUI Phantom 启用了 2 张,您可以通过取消静音启用另外 2 张。
您还应在 Image concate multi 节点中启用它们,以查看比较视频输出中的比较更新。
2 - ComfyUI Phantom 的分辨率和持续时间设置
在这些 ComfyUI Phantom 节点中输入您的 wan 2.1 兼容分辨率和帧持续时间。
3 - ComfyUI Phantom 中的提示配置
为 ComfyUI Phantom 视频生成输入您的提示:
- 正面提示:描述您希望 Phantom 生成的内容,还要匹配上传的参考图像的内容
- 负面提示:描述 Phantom 应避免的内容(例如,"模糊、低质量、伪影")
4 - ComfyUI Phantom 中的 KSampler 和输出
- 采样器设置:选择采样器类型(例如,DPM++、Euler 等)、步骤和种子以进行 Phantom 生成
- 输出:生成的图像将出现在 Phantom 输出查看器中,并保存在输出文件夹中
- 加载 ComfyUI Phantom 模型:在 Phantom 模型选择器节点中,您可以选择 1.3B 或 14B ComfyUI Phantom 模型
渲染的视频将保存在 ComfyUI 安装中的输出文件夹中。
ComfyUI Phantom 工作流的好处
ComfyUI Phantom 为视频生成提供了多个优势:
- 基于节点的界面:利用 ComfyUI 的直观节点系统进行 ComfyUI Phantom 工作流
- 工作流自定义:修改和扩展 ComfyUI Phantom 工作流以满足特定需求
- 参数控制:通过精确的参数调整微调 ComfyUI Phantom 生成
- 批量处理:使用 ComfyUI Phantom 高效处理多个参考图像
- 社区支持:访问共享的 ComfyUI Phantom 工作流和社区修改
致谢
ComfyUI Phantom 建立在 ComfyUI 中使用 Wan 2.1 视频生成模型和 Wan Video Wrapper 节点系统之上。核心节点和架构由 开发,支持在 ComfyUI 中进行基于参考的、保留身份的视频合成。没有 Wan 2.1 背后的基础工作和支持它的自定义 ComfyUI 工具,这个 ComfyUI Phantom 工作流是不可能实现的。
ComfyUI Phantom 模型信息
- 来源 -
- ComfyUI 实现: https://huggingface.co/Kijai/WanVideo_comfy/tree/main
- 架构:ComfyUI Phantom 的多输入参考
- 模型位置:
comfyui/models/diffusion_models
- ComfyUI 兼容性:完全集成到 ComfyUI 工作流系统中