ToonCrafter 是一種先進的 AI 技術,使用預訓練的圖像到視頻擴散先驗在兩張卡通圖像之間進行插值。這使 ToonCrafter 可以從兩張不同的卡通圖像生成插值視頻,創造出無縫的過渡。它支持高達 16 幀、解析度為 512x320 像素的視頻生成。
ToonCrafter 是一個 AI 工具,設計用於使用先進的 AI 技術從靜態卡通圖像創建平滑的動畫。它採用潛在擴散模型(Latent Diffusion Models,LDMs)將圖像編碼到壓縮的潛在空間中,然後在此過程中添加噪聲並逐步移除噪聲。這種方法生成了原始圖像之間的中間幀,從而產生流暢的動畫。
ToonCrafter 的一個顯著特點是其卡通矯正學習。這個過程將最初在真人視頻上訓練的 AI 模型調適為理解和生成卡通動畫。通過使用大量高質量卡通視頻數據集對模型進行微調,ToonCrafter 學習卡通的獨特運動和風格元素,如誇張的動作和簡化的紋理。
ToonCrafter 還結合了一種細節注入和傳播機制。這利用基於雙參考的 3D 解碼器來維持生成幀的視覺保真度。解碼器分析並將像素級細節從輸入幀注入到新幀中,確保與原始藝術作品的一致性,防止視覺瑕疵。
此外,ToonCrafter 提供基於草圖的可控生成,允許動畫師提供指導創建中間幀的草圖。此功能使藝術家在動畫過程中擁有更多控制權,能夠指定特定的姿勢或動作,確保最終動畫符合他們的願景。
ToonCrafter 節點需要幾個輸入參數來決定插值過程的行為和輸出。以下是每個參數的詳細說明:
ToonCrafter 節點的輸出是一系列插值幀,可用於創建視頻。您可以期待以下內容:
RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Playground, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。