MOSS-Image 姿势控制 ComfyUI: 提示的姿势转移图像生成#
MOSS-Image 姿势控制 ComfyUI 创建新的、真实感图像,这些图像遵循上传参考照片的全身姿势,同时您可以通过提示自由更改主体、服装和设置。它使用 DWPose 提取干净的骨架,并使用为 MOSS-Image SFT 调整的轻量级姿势控制编辑 LoRA 引导生成,避免了繁重的 ControlNet 检查点。
此工作流程非常适合艺术指导、市场视觉效果以及需要自然读取肢体位置的运动或表演场景。在测试中,它成功再现了复杂的姿势,如击剑突刺、芭蕾跳跃、运动跳跃和小提琴表演,具备令人信服的解剖结构和清晰的轮廓。
MOSS-Image 姿势控制 ComfyUI 工作流程中的关键模型#
- OpenMOSS-Team MOSS-Image-SFT。基础图像生成器,解释您的文本提示并生成最终图像;它作为姿势控制 LoRA 调节的骨干。Model card
- MOSS-Image 姿势控制 LoRA 由 thedeoxen 提供。一个紧凑的编辑 LoRA,将强大的姿势跟随行为注入到 MOSS-Image-SFT 中,而无需单独的 ControlNet。Repository
- DWPose。高质量的关键点检测器,用于从参考图像中提取身体、面部和手部标志;ComfyUI 预处理器来自 ControlNet Auxiliary pack。DWPose repo · ComfyUI node
如何使用 MOSS-Image 姿势控制 ComfyUI 工作流程#
图表从您的参考图像和提示到姿势匹配结果,遵循清晰的路径。以下阶段映射到您将主要交互的关键节点组。
参考姿势和尺寸调整#
使用 LoadImage (#1) 加载您的参考照片。pose control (#2) DWPose 预处理器提取框架上的干净骨架,包括可选的面部和手部关键点以进行富有表现力的拍摄。使用 Control (#13) 预览以验证提取的姿势看起来正确并完全捕捉预期的姿势。GetImageSize (#7) 将参考宽度和高度传递给画布,以便生成自动匹配您的源框架。
使用 MOSS-Image Edit 的提示条件#
在 Text Encode MOSS-Image Edit (positive) (#8) 中描述新的主体、服装、灯光和环境。典型的措辞如“全身电影摄影”、服装细节和环境提示效果很好。使用 Text Encode MOSS-Image Edit (negative) (#9) 排除您不希望的缺陷和风格。两个编码器都从 pose control 接收相同的姿势图像,因此模型将姿势约束直接烘焙到条件中,同时仍然遵从您的文本。
基础模型和姿势控制 LoRA#
UNETLoader (#3) 加载 MOSS-Image-SFT 基础模型。pose control LoRA (#4) 应用于顶部以在生成期间将检测到的骨架翻译为强烈的姿势依从性。如果结果太僵硬或太松散,请调整 LoRA 强度:更高的值将身体锁定得更接近参考姿势,较低的值允许更多的自由,同时仍然偏向构图。
采样和解码#
EmptyLatentImage (#10) 在参考分辨率下初始化潜在画布。KSampler (#11) 从您的条件合成图像;采样器、调度器、步骤、指导、种子和去噪共同交换速度、保真度和变异性。设置固定种子以重现出色的结果,或更改它以获得新的变化,同时保持相同的姿势和场景意图。VAEDecode (#12) 将潜在图像转换为 RGB,最终图像出现在 Result (#14)。
MOSS-Image 姿势控制 ComfyUI 工作流程中的关键节点#
pose control (#2)#
这是 DWPose 预处理器,找到身体、面部和手部并渲染用于指导的姿势图。启用面部和手部以便手势或表情重要;对于远处或快速动作的镜头,关闭它们以简化控制。如果骨架的部分看起来被裁剪,请放大或重新裁剪参考,以便整个图形位于框架内。更高的预处理分辨率可以锐化肢体的保真度,但会增加计算量;在目标输出大小之间取得平衡。
Text Encode MOSS-Image Edit (positive) (#8)#
将您的创意简报和姿势图像编码为 MOSS-Image-SFT 在采样期间遵循的条件向量。编写具体的、相机意识的提示,提及镜头类型、服装、材料和照明。图像输入锚定身体排列;文本控制身份、服装和环境。如果细纹理漂移,请加强描述性名词和材料;如果感觉过于约束,请减少图像的影响。
pose control LoRA (#4)#
应用 MOSS-Image 姿势控制 LoRA,使生成偏向于提取的骨架。增加其强度以实现精确的肢体定位,或减少它以让模型稍微重新解释姿势,同时保持整体姿态。将 LoRA 强度变化与轻微的提示调整配对,以在改进风格的同时保持预期的轮廓。
KSampler (#11)#
驱动将条件转化为像素的扩散步骤。在探索提示调整时使用可再现的种子,以便姿势和构图保持可比较。测试的默认值为 30 步,CFG 4,Euler/简单采样,去噪 1.0。更改种子以进行变化,同时保持参考姿势和提示不变;仅在比较基准结果后调整其他采样参数。
可选附加项#
- 目标为全身参考,具有清晰的肢体分离;繁忙的背景或严重的运动模糊可能会妨碍 DWPose。
- 保持参考和期望输出之间的主体比例相似;画布自动匹配大小,但极端的比例变化会降低准确性。
- 当手部或乐器重要时(例如小提琴演奏),在
pose control中启用面部和手部以捕捉指尖和握持。 - 对于像芭蕾跳跃或跳跃这样的运动场景,在提示中添加动作提示(灰尘、运动轨迹、风)以展现姿势而不改变肢体位置。
- 通过仅更改种子生成一致的变化;在文本中切换服装、时间或地点,而身体姿势保持不变。
致谢#
此工作流程实施并构建在以下作品和资源之上。我们感谢 thedeoxen 为 MOSS-Image 姿势控制 LoRA、OpenMOSS-Team 为 MOSS-Image-SFT 基础模型和 Fannovel16 为 DWPose 预处理器节点的贡献和维护。有关权威详细信息,请参阅下面链接的原始文档和存储库。
资源#
- thedeoxen/MOSS-Image-pose-controlnet
- Hugging Face: thedeoxen/MOSS-Image-pose-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux (DWPose preprocessor node)
注意:引用的模型、数据集和代码的使用受其作者和维护者提供的各自许可证和条款的约束。





