wan-2-1/image-to-video

Wan 2.1 是阿里巴巴推出的開源 AI 影片模型，專為生成高品質影片內容而設計。它利用先進的擴散技術，能夠呈現出逼真的動態效果，並支援中英文雙語文字輸入。目前 Wan 2.1 共有多個版本：1. T2V-14B：一個擁有 14B 參數的文字轉影片模型，可輸出細緻的 480P / 720P 影片，但需要較高的顯示記憶體。2. T2V-1.3B：輕量化版本，最佳化供使用者在消費級 GPU（約 8GB VRAM）上運行，適合高效 480P 影片產出。3. I2V-14B-720P：圖像轉影片模型，能將靜態圖片轉換成畫面流暢、具專業級品質的 720P 影片。4. I2V-14B-480P：480P 專屬版本，減少硬體負擔，同時保留畫質。若你正在尋找靈活多元的影片 AI 工具，Wan 2.1 是值得一試的選擇。

使用 Wan 2.1 有三種方式：1. 線上透過 RunComfy AI Playground：只需造訪 RunComfy AI Playground，選擇 Wan 2.1 模型，輸入文字提示或上傳圖片，自訂解析度、影片長度等參數，即可開始生成影片。整個操作流程友善直觀，即使是初學者，也能輕鬆創作高質感影片。2. 線上透過 RunComfy ComfyUI：前往 Wan 2.1 的 ComfyUI 工作流程頁面，就能進入已設定好環境的操作介面，採用 Wan 2.1 來從文字或圖像產出影片。3. 本地部署使用：從 GitHub 上 clone Wan 2.1 專案，安裝所需依賴並下載對應模型權重（如 T2V-14B 或 I2V-14B），使用 generate.py 等指令即可生成影片。無論是線上操作還是本地使用，Wan 2.1 都提供了高彈性選擇滿足不同需求。

執行 Wan 2.1 可以採用以下方式：1. 透過 RunComfy AI Playground 運行：登入後選擇 Wan 2.1 模型，若要產生文字轉影片（T2V），只需輸入描述性文字提示；若要圖像轉影片（I2V），上傳靜態圖片並可選擇性提供描述文字。設定影片解析度（如 480p 或 720p）與長度後，即可啟動生成流程。2. 透過 RunComfy ComfyUI 運行：選擇一般版本或 LoRA 模型的工作流程，登入後可一鍵套用，輸入提示文字或上傳圖像即可，並可運用 LoRA 模組調整風格。整體操作簡便，即使無程式背景，也能順利使用 Wan 2.1 產出高品質內容。

LoRA 是一種輕量化微調技術，可幫助 Wan 2.1 模型套用額外參數，進而客製化影片風格、動態表現等。不需重新訓練整個模型就能微調細節。1. RunComfy AI Playground：Wan 2.1 的 LoRA 功能即將上線，將會提供更便利的操作方式。2. RunComfy ComfyUI：可在 Wan 2.1 LoRA 自定義工作流程頁面使用，內建環境與 LoRA 模型皆預先配置好，此外，亦可輕鬆上傳自製的 Wan 2.1 LoRA 模型。這讓創作者能夠更靈活調整影片風格。

訓練 Wan 2.1 的 LoRA 模型和其他擴散模型的 LoRA 訓練方式相似。1. 資料準備：收集高品質圖片或短片段，再為每一張圖片撰寫描述文字檔案，並在每則標註中使用一致性的觸發詞，以幫助 Wan 2.1 學習特定概念。2. 設定環境與參數：使用如 diffusion-pipe 的框架，修改配置檔（如 wan_video.toml），設定學習率（約 3e-05）、epoch 數與 network rank（例如 32）等參數。3. 開始訓練：當資料集與配置完成後，可啟動訓練腳本（建議使用 deepspeed 執行多 GPU 訓練），只針對 LoRA 參數進行微調。4. 訓練完成後，可將生成的 .safetensors 檔案載入至 Wan 2.1 的生成流程中，開始產出風格化影片。這過程讓 Wan 2.1 擁有更豐富的個性化視覺語言。

你可以在 Hugging Face 上找到社群貢獻的 Wan 2.1 LoRA 模型。例如：Wan2.1 14B 480p I2V LoRAs 就是一系列針對圖像轉影片用途設計的模型。這些模型可以直接套用於生成流程中，也可作為訓練參考範例。想快速開始使用 Wan 2.1 的 LoRA，多多參考 Hugging Face 上的資源是一個不錯的選擇。

Wan 2.1 的 14B 系列（包括 T2V-14B 和 I2V-14B）通常需要高階 GPU，例如 NVIDIA RTX 4090，才能順利產生高解析度影片。在預設情況下，該模型可產生 720p、5 秒影片，若透過模型卸載與量化等技巧，則可在約 12GB VRAM 下達成 480p、8 秒影片。相對地，Wan 2.1 的 T2V-1.3B 模型更適合一般使用者，推理過程僅需約 8.19GB VRAM，即使使用 RTX 4090 也能於 4 分鐘內輸出一支 5 秒、480p 影片。選擇最適合的模型版本，能有效平衡效能與資源。

使用擁有 24GB VRAM 的 NVIDIA RTX 3090，可以順利運行 Wan 2.1 的 T2V-1.3B 模型。此模型在推理期間僅佔用約 8.19GB VRAM，非常適合此類消費級 GPU。然而，若要嘗試 T2V-14B 模型，則需注意其對記憶體與計算力的高需求。部分用戶雖成功在低至 10GB VRAM 的環境中執行，但往往需要進行進階優化與效能權衡。選擇相對輕量版本的 Wan 2.1 會讓體驗更順利。

Wan 2.1 模型對硬體規格的需求取決於模型版本。T2V-1.3B 屬於效率型，適合配備 8GB VRAM 的消費級顯卡，可快速產生 480p 影片。相對地，T2V-14B 模型則因其具備 14 億參數，生成 720p 影片時需要更高的 VRAM。若你希望體驗 Wan 2.1 又不想升級硬體，可直接在 RunComfy AI Playground 上使用線上平台，享有免費點數支援，讓你輕鬆創作 AI 影片。

要在雲端低成本使用 Wan 2.1，有兩個主要方式：1. RunComfy AI Playground：註冊新帳號即可獲得免費點數，讓你無需硬體即可開始使用 Wan 2.1 與其他 AI 工具。2. RunComfy ComfyUI：提供完整設定好的 Wan 2.1 與 LoRA 工作流程，登入後即可從文字或圖像產出影片。若想進一步節省資源，也可選擇效率更高的 T2V-1.3B 模型，並搭配模型卸載（--offload_model True）或量化等技術來降低 VRAM 使用，節省成本。

Wan 2.1 支援圖像轉影片（I2V）功能。你只要提供一張靜態圖片及描述動畫效果的文字提示，模型即會根據時空動態預測生成生動的影片畫面。方法如下：1. 本機執行：透過指令列執行 generate.py，使用 -task i2v-14B，指定圖片路徑（--image examples/i2v_input.JPG）及對應提示，即可執行生成。2. RunComfy ComfyUI：直接進入 Wan 2.1 工作流程頁面，即可無縫完成圖像轉影片操作。3. RunComfy Playground：選擇「圖像轉影片」模式，上傳圖片與提示文字即可開始。Wan 2.1 讓靜態圖片真正「動」起來。

Wan 2.1 的預設影片長度為 81 格影格（frames），若以常見的 16 FPS 影片速度計算，相當於約 5 秒的影片畫面。模型結構規定影片影格數需符合 4n+1（例如：81 格），這樣才能達到最穩定品質。雖然有用戶嘗試產出超過 100 格影格的影片，但以 81 格為標準仍是目前最穩定且品質最佳的設計基準。若希望延長播放時間，可考慮分批生成影片片段，再經剪輯組合。

Wan 2.1 能夠靈活應用於各種創意專案：可用於文字轉影片、圖像轉影片，甚至支援影片編輯。無論是製作社群短片、教學資源，或者商業宣傳內容，Wan 2.1 都具備專業級的動畫與清晰易讀的文字生成能力。對於希望創作出高品質 AI 影片，又不想投入複雜技術流程的內容創作者與行銷人員來說，Wan 2.1 是一款上手快、創作力強的實用工具。

你可以透過 Wan 2.1 的 ComfyUI 工作流程頁面來快速使用模型，包括：1. 一般版 ComfyUI：Wan 2.1 in ComfyUI。2. LoRA 自訂版：Wan 2.1 LoRA in ComfyUI。RunComfy 提供了完整預設好環境與模型的介面，無需額外安裝，只需輸入提示或匯入圖片，即可立即使用 Wan 2.1 開始生成影片，對創作者而言，是一條快速開始創作的捷徑。