ToonCrafter | 生成性卡通插值

1. ToonCrafter 是什麼？

ToonCrafter 是一種先進的 AI 技術，使用預訓練的圖像到視頻擴散先驗在兩張卡通圖像之間進行插值。這使 ToonCrafter 可以從兩張不同的卡通圖像生成插值視頻，創造出無縫的過渡。它支持高達 16 幀、解析度為 512x320 像素的視頻生成。

2. ToonCrafter 如何運作？

ToonCrafter 是一個 AI 工具，設計用於使用先進的 AI 技術從靜態卡通圖像創建平滑的動畫。它採用潛在擴散模型（Latent Diffusion Models，LDMs）將圖像編碼到壓縮的潛在空間中，然後在此過程中添加噪聲並逐步移除噪聲。這種方法生成了原始圖像之間的中間幀，從而產生流暢的動畫。

ToonCrafter 的一個顯著特點是其卡通矯正學習。這個過程將最初在真人視頻上訓練的 AI 模型調適為理解和生成卡通動畫。通過使用大量高質量卡通視頻數據集對模型進行微調，ToonCrafter 學習卡通的獨特運動和風格元素，如誇張的動作和簡化的紋理。

ToonCrafter 還結合了一種細節注入和傳播機制。這利用基於雙參考的 3D 解碼器來維持生成幀的視覺保真度。解碼器分析並將像素級細節從輸入幀注入到新幀中，確保與原始藝術作品的一致性，防止視覺瑕疵。

此外，ToonCrafter 提供基於草圖的可控生成，允許動畫師提供指導創建中間幀的草圖。此功能使藝術家在動畫過程中擁有更多控制權，能夠指定特定的姿勢或動作，確保最終動畫符合他們的願景。

3. 如何使用 ComfyUI ToonCrafter

ComfyUI ToonCrafter 節點：輸入參數

ToonCrafter 節點需要幾個輸入參數來決定插值過程的行為和輸出。以下是每個參數的詳細說明：

• image: 第一個輸入圖像（類型：IMAGE）。
• image2: 第二個輸入圖像（類型：IMAGE）。
• ckpt_name: 要使用的檢查點名稱（類型：STRING，選項：可用檢查點列表）。
• prompt: 引導插值的文本描述（類型：STRING，支持多行和動態提示）。
• seed: 用於隨機數生成的種子值，以確保可重現性（類型：INT，默認：123）。
• eta: 此參數控制擴散過程中添加的噪聲的規模。在擴散模型中，噪聲逐步減少以生成最終圖像或幀。調整 eta 值決定此過程每次迭代中引入的噪聲量。（類型：FLOAT，默認：1.0，範圍：0.0 到 15.0，步長：0.1）。
• cfg_scale: 無分類器指導尺度（類型：FLOAT，默認：7.5，範圍：1.0 到 15.0，步長：0.5）。
• steps: 擴散步驟數（類型：INT，默認：50，範圍：1 到 60，步長：1）。
• frame_count: 要生成的幀數（類型：INT，默認：10，範圍：5 到 30，步長：1）。
• fps: 輸出視頻的每秒幀數（類型：INT，默認：8，範圍：1 到 60，步長：1）。

ComfyUI ToonCrafter 節點：輸出參數

ToonCrafter 節點的輸出是一系列插值幀，可用於創建視頻。您可以期待以下內容：

• IMAGE: 插值視頻的生成幀。這些幀以張量形式返回，可以進一步處理或保存為視頻文件。