CogVideoX Tora | Image-to-Video Model

The nodes and its associated workflow are fully developed by Kijai. 我們給予 Kijai 所有應有的讚譽，因為這項創新的工作。在 RunComfy 平台上，我們只是向社群展示 Kijai 的貢獻。請注意，目前 RunComfy 與 Kijai 之間沒有正式的聯繫或合作。我們非常感謝 Kijai 的工作！

CogVideoX Tora

Tora 引入了一種新穎的框架，通過在擴散變壓器模型中利用基於軌跡的指導來生成高品質影片。通過專注於運動軌跡，Tora 實現了更真實和時間一致的影片合成。這種方法彌合了空間-時間建模與生成擴散框架之間的鴻溝。

請注意，這個版本的 Tora 基於 CogVideoX-5B 模型，僅供學術研究用途。欲了解授權詳情，請參考。

1.1 如何使用 CogVideoX Tora 工作流程？

這是 CogVideoX Tora 工作流程，左側節點是輸入，中間是處理 tora 節點，右側是輸出節點。

• 拖放您的橫向影像到輸入節點。
• 撰寫您的動作提示
• 創建軌跡路徑

1.2 載入輸入影像

• 上傳、拖放或複製並貼上 (Ctrl+V) 您的影像到載入影像節點

[!CAUTION] 只有 720*480 的橫向格式影像可以使用。其他尺寸會產生錯誤。

1.3 添加您的正面和負面提示

• Positive: 輸入根據軌跡節點中定義的軌跡主題發生的動作（移動、流動...等）。
• Negative: 輸入您不希望發生的事情（扭曲的手、模糊...等）

1.4 為運動製作軌跡

在此您設置上傳照片中主題運動的軌跡路徑。

• points_to_sample: 設置渲染的幀數，或影片的幀數。
• mask_width: 預設為 720。請勿更改！
• mask_height : 預設為 480。請勿更改！

節點指南：

• Shift + 點擊以在末端添加控制點。Ctrl + 點擊以在兩點之間添加控制點（細分）。
• 右鍵單擊一個點以刪除它。
• 請注意，您無法從開始/結束刪除。
• 在畫布上右鍵單擊以獲取上下文選單：
• 這些純粹是視覺選項，不會影響輸出：

切換控制柄可見性

• 顯示樣本點：顯示要返回的點。
• points_to_sample 值設置從繪製樣條線本身返回的樣本數，這獨立於實際控制點，因此插值類型很重要。

Sampling_method:

• time: 沿時間軸取樣，用於排程
• path: 沿路徑本身取樣，適用於座標

1.5 載入 CogVideoX & Tora 模型

這些是模型下載節點，它會自動在您的 comfyui 中下載模型，需時 2-3 分鐘。

1.6 CogVideo 取樣器

• Steps: 此值決定您的渲染品質。保持在 25 - 35 之間以獲得最佳和高效值。
• cfg: CogVideo 取樣的預設值是 6.0。
• denoising strength 和 Scheduler: 請勿更改此項。

1.7 軌跡權重與強度

此節點將設置您的運動軌跡的強度。

• strength: 高值將產生扭曲的圖形或飛行點。使用 0.5 - 0.9 之間。
• start_percent: 使用此值來緩和強度運動的效果。
• end_percent: 高值將產生扭曲的圖形或飛行點。使用 0.3 - 0.7 之間

1.8 輸出

這些節點將提供您 3 個輸出。

1. 輸出渲染影片
2. 在渲染影片上覆蓋的軌跡路徑
3. 黑色背景上的軌跡影片

"CogVideoX Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 透過在擴散變壓器框架中引入基於軌跡的指導，提出了一種創新的影片生成方法。不同於傳統影片合成模型難以維持時間一致性和真實運動，CogVideoX Tora 明確專注於建模運動軌跡。這使得系統能夠生成一致且視覺上令人信服的影片，通過理解物體和元素隨時間的演變。結合以高品質影像生成而聞名的擴散模型與變壓器的時間推理能力，CogVideoX Tora 彌合了空間和時間建模之間的鴻溝。

CogVideoX Tora 的軌跡導向機制提供了對物體移動和動態互動的細緻控制，特別適合需要精確運動指導的應用，如影片編輯、動畫和特效生成。模型維持時間一致性和真實過渡的能力增強了其在創建流暢且一致的影片內容中的應用性。通過整合軌跡先驗，CogVideoX Tora 不僅改善了運動動態，還減少了框架生成中常見的瑕疵。這一突破為影片合成設定了新的基準，為電影製作、虛擬現實和基於影片的 AI 等領域的創作者和開發者提供了一個強大的工具。