線性遮罩膨脹 | 驚豔動畫

ComfyUI 線性遮罩膨脹

通過轉換您的主題（舞者），創建驚豔的視頻動畫，讓他們通過遮罩膨脹效果穿梭於不同的場景中。此工作流程設計用於單一主題視頻。

如何使用 ComfyUI 線性遮罩膨脹工作流程：

1. 在輸入部分上傳主題視頻
2. 選擇最終視頻的所需寬度和高度，以及輸入視頻應跳過的幀數，使用“every_nth”設置。您還可以使用“frame_load_cap”限制要渲染的總幀數。
3. 填寫正面和負面提示。設置批次幀時間以匹配您希望場景轉換發生的時間。
4. 上傳每個 IP Adapter 主題遮罩顏色的圖像：
   1. 白色 = 主題（舞者）
   2. 黑色 = 第一背景
   3. 紅色 = 紅色膨脹遮罩背景
   4. 綠色 = 綠色膨脹遮罩背景
   5. 藍色 = 藍色膨脹遮罩背景
5. 在“Models”部分加載一個好的 LCM 檢查點（我使用 ParadigmLCM 由 Machine Delusions 製作）。
   1. 使用模型加載器下方的 Lora 堆疊器添加任何 loras
6. 點擊 Queue Prompt

輸入

• 您可以使用左上角的兩個輸入調整寬度、高度
• every_nth 設置應跳過的輸入幀數（2 = 每隔一幀）
• 左下角的數字欄顯示有關上傳輸入視頻的信息：總幀數、寬度、高度和每秒幀數（FPS）從上到下。
• 如果您已經生成了主題的遮罩視頻（必須是黑背景上的白主題），可以取消靜音“Override Subject Mask”部分並上傳遮罩視頻。可選地，您可以靜音“Segment Subject”部分以節省一些處理時間。
• 有時分割出的主題可能不完美，您可以使用右下角的預覽框檢查遮罩質量。如有需要，您可以在“Florence2Run”節點中調整提示以針對不同的身體部位，如“head”、“chest”、“legs”等，以獲得更好的結果。

提示

• 使用批次格式設置正面提示：
  • 例如“0”: “4k, masterpiece, 1girl standing on the beach, absurdres”, “25”: “HDR, sunset scene, 1girl with black hair and a white jacket, absurdres”, …
• 負面提示為普通格式，如果需要可以添加嵌入。

遮罩膨脹

• 每個顏色組對應於它將生成的膨脹遮罩顏色。
• 您可以設置遮罩的形狀，以及使用以下節點設置膨脹速度和幀延遲：
  • 形狀：“circle” 是最精確的，但生成時間較長。當您準備進行最終渲染時設置此選項。“square” 計算速度快但精確度較低，適合測試工作流程和決定 IP adapter 圖像。
  • dilate_per_frame：遮罩應膨脹的速度，數字越大 = 膨脹速度越快
  • 延遲：在遮罩開始膨脹之前要等待的幀數。
• 如果您已經生成了合成遮罩視頻，您可以取消靜音“Override Composite Mask”組並上傳它。建議在覆蓋時繞過膨脹遮罩組，以節省處理時間。

模型

• 使用良好的 LCM 模型作為檢查點。我推薦使用 Machine Delusions 的 ParadigmLCM。
• 您可以選擇以低權重 0.18 指定 AnimateLCM_sd15_t2v_lora.safetensors，以進一步增強最終結果。
• 使用模型加載器下方的藍色 Lora 堆疊器添加任何附加的 Loras。

AnimateDiff

• 您可以設置不同的 Motion Lora，而不是我使用的 LiquidAF-0-1.safetensors
• 根據需要調整 Multival Dynamic 浮點值的高低，以確定結果是否需要更多或更少的運動。

IP Adapters

• 在這裡，您可以指定將用於渲染每個膨脹遮罩背景的參考主題，以及您的視頻主題。
• 每個組的顏色代表其目標的遮罩：
  • 白色 = 主題（舞者）
  • 黑色 = 第一背景
  • 紅色 = 紅色膨脹遮罩背景
  • 綠色 = 綠色膨脹遮罩背景
  • 藍色 = 藍色膨脹遮罩背景
• 如果您希望最終渲染更接近輸入 IP adapter 圖像，您可以在 IPA Unified Loader 組中將 IPAdapter 預設從 VIT-G 更改為 PLUS。

ControlNet

• 此工作流程使用 5 種不同的 controlnets，包括 AD、Lineart、QR Code、Depth 和 OpenPose。
• 所有輸入到 controlnets 的內容都是自動生成的
• 如果需要，您可以通過取消靜音“Override Depth”和“Override Openpose”組來選擇覆蓋 Depth 和 Openpose controlnets 的輸入視頻，如下所示：

• 如果覆蓋，建議您靜音“Generate Depth”和“Generate Openpose”組以節省處理時間。

取樣器

• 默認情況下，HiRes Fix 取樣器組將被靜音以在測試時節省處理時間
• 當嘗試實驗膨脹遮罩設定時，我建議繞過取樣器組以節省時間。
• 在最終渲染時，您可以取消靜音 HiRes Fix 組，這將放大並為最終結果添加細節。

輸出

• 有兩個輸出組：左側是標準取樣器輸出，右側是 HiRes Fix 取樣器輸出。
• 您可以通過更改“FileNamePrefixDateDirFirst”節點中的“custom_directory”字符串來更改文件保存的位置。默認情況下，此節點將在 ComfyUI“output”目錄中以時間戳目錄保存輸出視頻
  • 例如 …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

關於作者

Akatz AI：

• 網站：
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

聯繫方式：

• 電子郵件：akatzfey@sendysoftware.com