ComfyUI + TouchDesigner | 音频反应视觉效果

要创建一个音频反应视频,首先使用 ComfyUI 渲染一个视觉吸引力的基础。接下来,利用 TouchDesigner 将您的视频与音频无缝同步,确保视觉效果与您的配乐的节奏和情绪完美契合,从而产生一个引人入胜的音频反应体验。

ComfyUI 工作流

ComfyUI and TouchDesigner for Audio Reactive Visuals
想要运行这个工作流吗?
  • 完全可操作的工作流
  • 没有缺失的节点或模型
  • 无需手动设置
  • 具有惊艳的视觉效果

示例

描述

1. 使用 ComfyUI 和 TouchDesigner 制作音频反应视频

创建音频反应视频就是将声音与视觉融合成一个无缝的艺术氛围。它非常吸引人,让您的视觉效果随着节拍舞动。您可以从在 ComfyUI 中制作一些视觉内容开始—它是渲染的真正时间节省器。然后,将这些视觉效果带入 TouchDesigner 中,将它们与您的音乐同步,真正使它们脱颖而出。

2. 掌握 ComfyUI 以增强视觉渲染

使用 ComfyUI 进行渲染可以打开一个充满创造可能性的世界。首先选择您的初始输入:一个简单的黑白视频和一个捕捉您希望达到的风格的参考图像。这个设置允许您探索各种艺术方向—尝试不同的视频和参考图像可以带来令人兴奋的发现。

在这个工作流程中,我们利用几个强大的组件:

  • AnimateDiff 用于视频生成,基于视频帧之间的差异创建复杂的效果。
  • AnimateLCM 加速渲染过程,确保高效的生产时间而不牺牲质量。
  • IPAdapter Plus 分析您的输入图像的风格,并调整视频以匹配这种美学,为您的最终产品注入所需的艺术魅力。
  • ControlNet 管理动画流程,提供对动画如何进行以及与音频输入交互的控制。

在选择 ControlNets 时,考虑您视频的特定需求:

  • 如果您的视频包括3D效果,请选择 ControlNet 的深度模型以增强维度方面。
  • 对于更平面和图形化的风格,Lineart 或 Canny 模型是实现清晰、干净线条的绝佳选择。

通过尝试这些节点的不同组合,您可以显著提高渲染视频的创造力和独特性。

3. 使用 TouchDesigner 将视觉效果与音频同步

在 ComfyUI 中生成视频后,是时候将其带入 TouchDesigner 了。这是您将其与音频同步的地方。TouchDesigner 有这些很棒的运算符,可以分析音乐的节拍和氛围。您可以使用音频信号(如节拍)来调整视频播放,使其与声音完美匹配。这就像让您的视觉效果随音乐舞动,创造出一种感觉和外观一样好的酷炫体验。

这个工作流程的灵感来自于 cerspense,但经过了一些修改。

想要更多 ComfyUI 工作流吗?