Wan2.2 Fun Inp: ComfyUI 中的首帧到尾帧视频生成
Wan2.2 Fun Inp 将两张静止图像转换为连贯的视频,通过自然插值引导模型从首帧到尾帧。它专为希望在保持提示控制的同时实现电影一致性的艺术家、动画师和电影制作人设计。工作流附带两个并行预设,您可以优先选择超快的 4 步合成或更通用的 fp8 缩放生成,两者都由 Wan 2.2 Fun Inpaint 提供支持。
Wan2.2 Fun Inp: ComfyUI 中的首帧到尾帧视频生成
Wan2.2 Fun Inp 将两张静止图像转换为连贯的视频,通过自然插值引导模型从首帧到尾帧。它专为希望在保持提示控制的同时实现电影一致性的艺术家、动画师和电影制作人设计。工作流附带两个并行预设,您可以优先选择超快的 4 步合成或更通用的 fp8 缩放生成,两者都由 Wan 2.2 Fun Inpaint 提供支持。
Comfyui Wan2.2 Fun Inp 工作流中的关键模型
- Wan 2.2 Fun Inpaint 14B (fp8 scaled) 专为“Fun Inpaint”视频生成而优化的主要扩散骨干。包括两个变体:用于更大运动和创意过渡的高噪声,以及当您需要更紧密保真度于起始/结束帧时的低噪声。 • 高噪声: wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors • 低噪声: wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
- Lightning 4-Step LoRA for I2V 一个可选的 LoRA,压缩采样计划到仅四步,适合快速迭代,非常适合预览和快速草稿。 • 低噪声 LoRA: wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors • 高噪声 LoRA: wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
- Wan VAE VAE 处理 Wan 模型使用的潜在–像素转换;在解码/编码期间保留细节和色调。请参阅 Hugging Face 上的 Wan 2.2 包。
- CLIP 文本编码器 将您的正负提示编码为控制向量,指导视觉叙事。参考实现: openai/CLIP。
- ComfyUI 视频助手套件 (导出) 将生成的帧合并为 MP4,使用您选择的帧率。仓库: ComfyUI-VideoHelperSuite。
如何使用 Comfyui Wan2.2 Fun Inp 工作流
图表包含两个平行组,您可以根据速度与通用性进行切换。一次仅启用一个以获得干净的运行。
组: Wan2.2_fun_Inp fp8_scaled + 4 steps LoRA
用于非常快速的预览。该组加载 Wan 2.2 骨干和一个Lightning 4-Step LoRA,并通过短采样器路径引导您的提示。提供您的起始和结束图像,然后根据需要调整高级参数。内部,WanFunInpaintToVideo (#111) 从首帧到尾帧播种轨迹,而短采样器在少数步骤中细化运动和结构。
组: Wan2.2_fun_Inp fp8_scaled
当您想要更广泛的操作范围而不受 4 步限制时选择此选项。此路径直接使用 fp8 缩放的 Wan 2.2 模型,保持相同的首帧到尾帧的指导,但使用标准采样器预算以获得更细致的细节恢复和运动塑造。节点 WanFunInpaintToVideo (#148) 锚定轨迹并交给下游采样器进行精细化处理。
步骤 2 — 上传起始和结束图像
两个组都包括一个上传起始和结束图像部分。插入一个起始图像,设置开场构图,以及一个结束图像,定义最终的姿势或场景。工作流将在它们之间插值运动和外观,尊重您的文本提示。为了获得最佳效果,请保持两个图像的纵横比一致。
步骤 3 — 提示
在正提示中写下您想看到的内容,在负提示中写下要避免的内容。节点 CLIP Text Encode (Positive Prompt) 和 CLIP Text Encode (Negative Prompt) 将您的文本转换为引导内容、风格和动态的条件。使用简洁的场景导向短语(动作、相机提示、材料、情绪)而不是长列表。
步骤 4 — 视频大小和长度
在 WanFunInpaintToVideo 节点中设置 width、height 和 length 以定义空间分辨率和帧数。默认设置为高 576×1024 的视频,约 3-4 秒的 24 fps 运动。较长的序列通常从 fp8 缩放路径中受益;短预览在 4 步 LoRA 组中效果很好。
导出到 MP4
VHS_VideoCombine 将帧组合为 MP4,默认24 fps和质量友好的 CRF。文件名为每个分支添加前缀(例如,Fun_Inp 和 Fun_Inp_4_Step),便于您轻松比较输出。如果需要更慢或更快的播放速度,请调整帧率。
仅运行一个分支
框选择一个组并使用Ctrl+B启用或禁用它。如果启用 fp8_scaled 组,则禁用 fp8_scaled + 4 steps LoRA 组,反之亦然。您还可以使用 ComfyUI 的部分执行功能仅运行您正在调整的部分。
Comfyui Wan2.2 Fun Inp 工作流中的关键节点
WanFunInpaintToVideo (#111 和 #148)
将您的start_image和end_image融合为连续潜在轨迹的核心引擎。它接受 width、height 和 length 以设置视频大小和持续时间,然后发出潜在序列加上更新的正/负条件。在调整镜头的连续性、节奏或构图时从这里开始。
UNETLoader (#101, #102)
选择 Wan 2.2 Fun Inpaint 模型变体。使用高噪声进行更大胆的运动和更具变革性的插值。当优先保留起始和结束帧的身份和纹理时,使用低噪声。根据速度需求选择是否与 4 步 LoRA 配对。
ModelSamplingSD3 (#93)
配置下游使用的采样器计划。使其与选择的 LoRA 或 fp8 路径保持一致。如果看到时间闪烁,适度调整采样器模式或步骤可以在不过度锐化细节的情况下平滑过渡。
KSamplerAdvanced (#150)
对潜在序列应用精细化处理。如果您需要面部、手部或细结构上的更清晰的微细节,稍微增加步骤;减少步骤以获得更柔和、更梦幻的运动。避免极端的 CFG 或步骤计数,因为这可能会破坏时间一致性。
VHS_VideoCombine (#159)
将渲染的帧合并为 MP4。调整 frame_rate 以获得运动感和播放速度,并保持默认的 pix_fmt 以获得广泛的播放器兼容性。较低的 CRF 产生具有更细腻渐变的较大文件;较高的 CRF 进行更积极的压缩。
可选补充
- 将起始和结束图像的纵横比与选择的
width×height匹配,以减少不必要的裁剪或扭曲。 - 对于角色镜头,请保持服装、照明和相机角度在首帧和尾帧之间大致一致,以鼓励身份稳定。
- 使用 4 步 LoRA 组开始短的 Wan2.2 Fun Inp 预览,然后切换到 fp8 缩放组进行最终处理。
- 如果剪辑中间感觉太静态,请尝试高噪声模型;如果过渡看起来太混乱,请尝试低噪声并简化提示。
- 保持提示专注于场景意图(动作、氛围、相机移动),而不是长形容词链;Wan2.2 Fun Inp 最好响应明确的方向。
致谢
Wan 2.2 Inp Fun 工作流通过将首尾帧控制与自然插值相结合,扩展了 AI 视频生成的创意可能性。它是一个多功能工具,适用于希望在 AI 驱动项目中实现电影一致性的艺术家、动画师和电影制作人。
特别感谢ComfyUI 和 Wan 团队,使得无缝的Inp Fun 工作流集成进入下一代创意管道。
