IDM-VTON | 虛擬試穿
IDM-VTON，全名為「Improving Diffusion Models for Authentic Virtual Try-on in the Wild」，是一個突破性的擴散模型，允許真實的虛擬服裝試穿。通過保留服裝的獨特細節和身份，IDM-VTON 生成的結果極其真實。該模型利用影像提示適配器（IP-Adapter）提取高層次的服裝語義，並使用平行 UNet（GarmentNet）編碼低層次特徵。在 ComfyUI 中，IDM-VTON 節點驅動虛擬試穿過程，需輸入如人體圖像、姿勢表示、服裝遮罩和服裝圖像等。ComfyUI IDM-VTON 工作流程
想要運行這個工作流程嗎？
- 完全可操作的工作流程
- 沒有缺失的節點或模型
- 無需手動設置
- 具有驚豔的視覺效果
ComfyUI IDM-VTON 範例
ComfyUI IDM-VTON 說明
IDM-VTON，縮寫為 "Improving Diffusion Models for Authentic Virtual Try-on in the Wild"，是一個創新的擴散模型，允許您僅需少數輸入即可真實地虛擬試穿服裝。IDM-VTON 的獨特之處在於它能夠保留服裝的獨特細節和身份，同時生成極其真實的虛擬試穿結果。
1. 認識 IDM-VTON
在其核心，IDM-VTON 是一個專門為虛擬試穿設計的擴散模型。要使用它，您只需一個人的表示和您想試穿的服裝。然後 IDM-VTON 發揮其魔力，呈現出一個看起來像這個人實際穿著這件服裝的結果。它達到了超越以往擴散基礎虛擬試穿方法的服裝保真度和真實性。
2. IDM-VTON 的內部運作
那麼，IDM-VTON 是如何實現如此真實的虛擬試穿的呢？秘密在於其兩個主要模塊，它們共同編碼服裝輸入的語義：
- 第一個是影像提示適配器，簡稱 IP-Adapter。這個巧妙的組件提取服裝的高層次語義——基本上是定義其外觀的關鍵特徵。然後將這些信息融合到主要 UNet 擴散模型的交叉注意力層中。
- 第二個模塊是稱為 GarmentNet 的平行 UNet。它的工作是編碼服裝的低層次特徵——使其獨特的細節。這些特徵然後被融合到主要 UNet 的自注意力層中。
但這還不是全部！IDM-VTON 還利用詳細的文本提示來提供服裝和人像輸入的額外背景，從而增強最終虛擬試穿結果的真實性。
3. 在 ComfyUI 中運行 IDM-VTON
3.1 節目明星：IDM-VTON 節點
在 ComfyUI 中，"IDM-VTON" 節點是運行 IDM-VTON 擴散模型並生成虛擬試穿輸出的核心。
為了讓 IDM-VTON 節點發揮其魔力，需要一些關鍵輸入：
- 管道：這是加載的 IDM-VTON 擴散管道，驅動整個虛擬試穿過程。
- 人像輸入：將虛擬試穿服裝的人像圖像。
- 姿勢輸入：經過預處理的 DensePose 表示的人像輸入，幫助 IDM-VTON 理解人的姿勢和體型。
- 遮罩輸入：一個二進制遮罩，指出人像輸入中的哪些部分是服裝。這個遮罩需要轉換為適當的格式。
- 服裝輸入：要進行虛擬試穿的服裝圖像。
3.2 準備就緒
要讓 IDM-VTON 節點運行起來，需要一些準備步驟：
- 加載人像圖像：使用 LoadImage 節點加載人的圖像。
- 生成姿勢圖像：人像圖像通過 DensePosePreprocessor 節點，計算 IDM-VTON 所需的 DensePose 表示。
- 獲取遮罩圖像：有兩種方法獲取服裝遮罩：
a. 手動遮罩（推薦）
- 右鍵單擊加載的人像圖像，選擇 "Open in Mask Editor."
- 在遮罩編輯器 UI 中，手動遮罩服裝區域。
b. 自動遮罩
- 使用 GroundingDinoSAMSegment 節點自動分割服裝。
- 使用服裝的文本描述（如 "t-shirt"）提示節點。
無論選擇哪種方法，獲得的遮罩需要使用 MaskToImage 節點轉換為圖像，然後連接到 IDM-VTON 節點的 "Mask Image" 輸入。
- 加載服裝圖像：用於加載服裝的圖像。
欲深入了解 IDM-VTON 模型，請不要錯過原始論文 ""。如果您有興趣在 ComfyUI 中使用 IDM-VTON，請務必查看專用節點 。非常感謝這些令人驚嘆的資源背後的研究人員和開發者。
