ComfyUI  >  工作流程  >  IDM-VTON | 虛擬試穿

IDM-VTON | 虛擬試穿

IDM-VTON,全名為「Improving Diffusion Models for Authentic Virtual Try-on in the Wild」,是一個突破性的擴散模型,允許真實的虛擬服裝試穿。通過保留服裝的獨特細節和身份,IDM-VTON 生成的結果極其真實。該模型利用影像提示適配器(IP-Adapter)提取高層次的服裝語義,並使用平行 UNet(GarmentNet)編碼低層次特徵。在 ComfyUI 中,IDM-VTON 節點驅動虛擬試穿過程,需輸入如人體圖像、姿勢表示、服裝遮罩和服裝圖像等。

ComfyUI IDM-VTON 工作流程

ComfyUI Workflow: IDM-VTON for Virtual Clothing Try-on
想要運行這個工作流程嗎?
  • 完全可操作的工作流程
  • 沒有缺失的節點或模型
  • 無需手動設置
  • 具有驚豔的視覺效果

ComfyUI IDM-VTON 範例

idm-vton-on-comfyui-realistic-virtual-clothing-try-on-1135idm-vton-on-comfyui-realistic-virtual-clothing-try-on-1135

ComfyUI IDM-VTON 說明

IDM-VTON,縮寫為 "Improving Diffusion Models for Authentic Virtual Try-on in the Wild",是一個創新的擴散模型,允許您僅需少數輸入即可真實地虛擬試穿服裝。IDM-VTON 的獨特之處在於它能夠保留服裝的獨特細節和身份,同時生成極其真實的虛擬試穿結果。

1. 認識 IDM-VTON

在其核心,IDM-VTON 是一個專門為虛擬試穿設計的擴散模型。要使用它,您只需一個人的表示和您想試穿的服裝。然後 IDM-VTON 發揮其魔力,呈現出一個看起來像這個人實際穿著這件服裝的結果。它達到了超越以往擴散基礎虛擬試穿方法的服裝保真度和真實性。

2. IDM-VTON 的內部運作

那麼,IDM-VTON 是如何實現如此真實的虛擬試穿的呢?秘密在於其兩個主要模塊,它們共同編碼服裝輸入的語義:

  1. 第一個是影像提示適配器,簡稱 IP-Adapter。這個巧妙的組件提取服裝的高層次語義——基本上是定義其外觀的關鍵特徵。然後將這些信息融合到主要 UNet 擴散模型的交叉注意力層中。
  2. 第二個模塊是稱為 GarmentNet 的平行 UNet。它的工作是編碼服裝的低層次特徵——使其獨特的細節。這些特徵然後被融合到主要 UNet 的自注意力層中。

但這還不是全部!IDM-VTON 還利用詳細的文本提示來提供服裝和人像輸入的額外背景,從而增強最終虛擬試穿結果的真實性。

3. 在 ComfyUI 中運行 IDM-VTON

3.1 節目明星:IDM-VTON 節點

在 ComfyUI 中,"IDM-VTON" 節點是運行 IDM-VTON 擴散模型並生成虛擬試穿輸出的核心。

為了讓 IDM-VTON 節點發揮其魔力,需要一些關鍵輸入:

  1. 管道:這是加載的 IDM-VTON 擴散管道,驅動整個虛擬試穿過程。
  2. 人像輸入:將虛擬試穿服裝的人像圖像。
  3. 姿勢輸入:經過預處理的 DensePose 表示的人像輸入,幫助 IDM-VTON 理解人的姿勢和體型。
  4. 遮罩輸入:一個二進制遮罩,指出人像輸入中的哪些部分是服裝。這個遮罩需要轉換為適當的格式。
  5. 服裝輸入:要進行虛擬試穿的服裝圖像。

3.2 準備就緒

要讓 IDM-VTON 節點運行起來,需要一些準備步驟:

  1. 加載人像圖像:使用 LoadImage 節點加載人的圖像。 IDM-VTON
  2. 生成姿勢圖像:人像圖像通過 DensePosePreprocessor 節點,計算 IDM-VTON 所需的 DensePose 表示。 IDM-VTON
  3. 獲取遮罩圖像:有兩種方法獲取服裝遮罩: IDM-VTON

a. 手動遮罩(推薦)

  • 右鍵單擊加載的人像圖像,選擇 "Open in Mask Editor."
  • 在遮罩編輯器 UI 中,手動遮罩服裝區域。

b. 自動遮罩

  • 使用 GroundingDinoSAMSegment 節點自動分割服裝。
  • 使用服裝的文本描述(如 "t-shirt")提示節點。

無論選擇哪種方法,獲得的遮罩需要使用 MaskToImage 節點轉換為圖像,然後連接到 IDM-VTON 節點的 "Mask Image" 輸入。

  1. 加載服裝圖像:用於加載服裝的圖像。
IDM-VTON

欲深入了解 IDM-VTON 模型,請不要錯過原始論文 ""。如果您有興趣在 ComfyUI 中使用 IDM-VTON,請務必查看專用節點 。非常感謝這些令人驚嘆的資源背後的研究人員和開發者。

想要更多 ComfyUI 工作流程嗎?