各位AI动画爱好者大家好!我们即将踏上 ComfyUI 换脸的激动人心的旅程。在这里,我们向您介绍 ComfyUI Reactor 工作流,使您能够在视频中替换单张或多张脸!
我们将涵盖:
- Roop vs. Reactor
- 什么是 ComfyUI Reactor?
- 如何在 ComfyUI 中使用 Reactor?
- 设置你的图像
- 换脸模型
- 人脸检测
- 人脸修复
- 人脸修复可见度 & CodeFormer 权重(保真度)
- 检测性别
- 为视频中的单人或多人换脸引入人脸索引
- 根据需要使用智能帧插值
- 根据需要调整大小和细化
1. Roop vs. Reactor#
我猜你们中的一些人曾经在 Automatic 1111 中使用过 Roop 扩展进行这类创意实验,但 Roop 的代码已经停止维护。动态设计师和动画师正在拥抱 ComfyUI 中换脸的新冠军——ReActor。这个工具不仅仅是 Roop 的升级版,它完全革新了换脸,使之成为你创作工具箱中无缝衔接、令人兴奋的一部分。
那么,为什么 ReActor 会成为换脸的新宠?这里是个总结:
- 高分辨率换脸与超分辨率:告别模糊图像,迎接清晰锐利的视觉效果。
- CPU友好:无需高端GPU,更多用户都能使用。
- 通用兼容性:与 SDXL 和1.5模型完美配合——就像拥有了一个换脸万能遥控器!
- 智能检测:自动性别和年龄检测意味着它准确知道视频中的每个人是谁。
- 无审查创作:没有 NSFW 过滤,你的创意可以真正无拘无束。
- 持续改进:ReActor 不断变得更智能、更优秀,就像陈年佳酿愈加醇厚。
现在,让我们不仅仅是谈论它,让我们深入了解如何在 ComfyUI 中使用 Reactor 以及如何设置 Reactor 的参数!使用 ReActor,你的创意可能性是无限的。
2. 什么是 ComfyUI Reactor?#
ComfyUI Reactor 是一个用于 ComfyUI 的快速简单的换脸扩展节点。它利用多个模型来实现人脸检测、人脸交换和人脸修复,同时保持易用性。
3. 如何在 ComfyUI 中使用 Reactor?#
好了,让我们深入探讨创建工作流程的激动人心的过程。使用 Reactor,你将能够为动画添加一些令人难以置信的换脸特效。
3.1 设置你的图像#
首先,你需要选择你的 "source image" - 把它想象成脸的提供者。然后,选择你的 "input image" ——这是新脸的幸运接受者。
3.2 换脸模型#
我们已经下载了 inswapper_128.onnx 模型,预训练模型 inswapper_128.onnx 由 InsightFace 提供。
3.3 人脸检测#
人脸检测就像有一个数字侦探,可以在源图像和输入图像中都发现人脸。我们有多种侦探可选——resnet50、mobile0.25、YOLOv5l 和 YOLOv5n。但我们的首选是 retinaface_resnet50。它的表现很好。
3.4 人脸修复#
在这里,你可以选择一个人脸修复模型。有些人更喜欢 GF PGN,但也可以试试 Code Forer——它也很棒!
3.5 人脸修复可见度 & CodeFormer 权重(保真度)#
这些设置就像调音你的吉他。默认设置是可见度为1.00,CodeFormer 权重为0.75,但不要犹豫,尽情尝试,看看你能创造出什么样的曲调。
3.6 检测性别?也许不需要#
"检测性别" 选项决定你是否希望模型判断图像中的性别。ReActor 只会在满足给定条件时交换人脸。根据我的经验,将其设置为 "no" 会得到很好的结果。也许这就像在告诉模型:"所有的目光都集中在脸上,模特宝贝!"
3.7 引入人脸索引#
人脸索引帮助系统识别图像中的每张脸。人脸按照各自图像中从左到右、从上到下的顺序进行标记。这样,系统就准确知道谁是谁了。
3.7.1 设置单人换脸#
只需换一张脸?Easy!源脸和输入脸的索引都将是0。
3.7.2 设置多人换脸#
现在,如果你雄心勃勃,想换多张脸,方法如下:
在不同图像中换多张脸#
- 处理动画中左侧的角色时,将源人脸索引和输入人脸索引都设为0。这指示 Reactor "使用源图像替换输入图像中的左侧角色"。
- 对于右侧的角色,将源索引调整为0,输入人脸索引调整为1。这指示 Reactor "使用源图像替换输入图像中的右侧角色"。
- 记住,如果每个角色在不同的图像中,你需要两组 Reactor 节点。
在一个图像中换多张脸#
- 如果你有一个包含两个角色的图像,一个 Reactor 节点就能搞定。
- 这就是有趣的地方。你可以混合搭配人脸。假设你想用源图像中的第一张脸(即索引=0)替换输入图像中的第二张脸(即索引=1),并且你想用源图像中的第二张脸(索引=1)替换输入图像中的第一张脸(即索引=0)。你只需像这样设置索引:Source - 0,1;Input - 1,0。
4. 根据需要使用智能帧插值#
这里有一个实用的小贴士——考虑使用帧插值器。把它想象成你视频帧的时间机器。它的神奇之处在于减少你最初需要处理的帧数,然后再巧妙地重建它们。如果你不得不为了加快处理速度而牺牲视频质量,这一点特别有用。把这一步看作是一根魔杖,帮你重新捕捉一些丢失的清晰度和细节。
5. 根据需要调整大小和细化#
在将视频图像传递给插值器之前,你还可以调整它们的大小。虽然很难达到原始文件的质量,但总比没有好。
作者:RunComfy 编辑
我们的编辑团队与 AI 合作已有超过15年,从 RNN/CNN 时代的 NLP/视觉开始。我们在 AI 聊天机器人/艺术/动画方面积累了大量经验,如 BERT/GAN/Transformer 等。如果你在 AI 艺术、动画和视频方面需要帮助,欢迎与我们交流。