IDM-VTON | 虛擬試穿

IDM-VTON，縮寫為 "Improving Diffusion Models for Authentic Virtual Try-on in the Wild"，是一個創新的擴散模型，允許您僅需少數輸入即可真實地虛擬試穿服裝。IDM-VTON 的獨特之處在於它能夠保留服裝的獨特細節和身份，同時生成極其真實的虛擬試穿結果。

1. 認識 IDM-VTON

在其核心，IDM-VTON 是一個專門為虛擬試穿設計的擴散模型。要使用它，您只需一個人的表示和您想試穿的服裝。然後 IDM-VTON 發揮其魔力，呈現出一個看起來像這個人實際穿著這件服裝的結果。它達到了超越以往擴散基礎虛擬試穿方法的服裝保真度和真實性。

2. IDM-VTON 的內部運作

那麼，IDM-VTON 是如何實現如此真實的虛擬試穿的呢？秘密在於其兩個主要模塊，它們共同編碼服裝輸入的語義：

1. 第一個是影像提示適配器，簡稱 IP-Adapter。這個巧妙的組件提取服裝的高層次語義——基本上是定義其外觀的關鍵特徵。然後將這些信息融合到主要 UNet 擴散模型的交叉注意力層中。
2. 第二個模塊是稱為 GarmentNet 的平行 UNet。它的工作是編碼服裝的低層次特徵——使其獨特的細節。這些特徵然後被融合到主要 UNet 的自注意力層中。

但這還不是全部！IDM-VTON 還利用詳細的文本提示來提供服裝和人像輸入的額外背景，從而增強最終虛擬試穿結果的真實性。

3. 在 ComfyUI 中運行 IDM-VTON

3.1 節目明星：IDM-VTON 節點

在 ComfyUI 中，"IDM-VTON" 節點是運行 IDM-VTON 擴散模型並生成虛擬試穿輸出的核心。

為了讓 IDM-VTON 節點發揮其魔力，需要一些關鍵輸入：

1. 管道：這是加載的 IDM-VTON 擴散管道，驅動整個虛擬試穿過程。
2. 人像輸入：將虛擬試穿服裝的人像圖像。
3. 姿勢輸入：經過預處理的 DensePose 表示的人像輸入，幫助 IDM-VTON 理解人的姿勢和體型。
4. 遮罩輸入：一個二進制遮罩，指出人像輸入中的哪些部分是服裝。這個遮罩需要轉換為適當的格式。
5. 服裝輸入：要進行虛擬試穿的服裝圖像。

3.2 準備就緒

要讓 IDM-VTON 節點運行起來，需要一些準備步驟：

1. 加載人像圖像：使用 LoadImage 節點加載人的圖像。
2. 生成姿勢圖像：人像圖像通過 DensePosePreprocessor 節點，計算 IDM-VTON 所需的 DensePose 表示。
3. 獲取遮罩圖像：有兩種方法獲取服裝遮罩：

a. 手動遮罩（推薦）

• 右鍵單擊加載的人像圖像，選擇 "Open in Mask Editor."
• 在遮罩編輯器 UI 中，手動遮罩服裝區域。

b. 自動遮罩

• 使用 GroundingDinoSAMSegment 節點自動分割服裝。
• 使用服裝的文本描述（如 "t-shirt"）提示節點。

無論選擇哪種方法，獲得的遮罩需要使用 MaskToImage 節點轉換為圖像，然後連接到 IDM-VTON 節點的 "Mask Image" 輸入。

4. 加載服裝圖像：用於加載服裝的圖像。

欲深入了解 IDM-VTON 模型，請不要錯過原始論文 ""。如果您有興趣在 ComfyUI 中使用 IDM-VTON，請務必查看專用節點 。非常感謝這些令人驚嘆的資源背後的研究人員和開發者。