Mochi Edit 升頻 | 影片至影片
Mochi Edit 使用 Genmo Mochi 和基於擴散的技術,通過將影片幀反轉為噪聲並使用提示導向的編輯重新取樣(也稱為升頻),來轉換影片幀。Mochi Edit 無縫集成於 ComfyUI 中,用戶可以實現無縫的風格轉換、物件修改和流暢的動畫編輯工作流程。ComfyUI Mochi Edit 工作流程
ComfyUI Mochi Edit 範例
ComfyUI Mochi Edit 說明
由 logtd 和 Kijai 全面開發的 節點及其相關工作流程。我們將所有應有的功勞歸於 logtd 和 Kijai,感謝他們的創新工作。在 RunComfy 平台上,我們僅僅是將他們的貢獻介紹給社群。我們深深感謝 logtd 和 Kijai 的工作!
Mochi Edit 工作流程是一種工具,設計用於讓用戶使用基於文字的提示修改影片內容。它支持如添加或更改元素(例如,為角色戴上帽子)、調整整體風格或更換影片中的主體等任務。
1. Mochi Edit 升頻
Mochi Edit 的核心是其升頻技術。Mochi Edit 的升頻技術利用一種簡化的方法來編輯影片和圖像,允許通過多模態提示進行轉換,而不需要額外的預處理步驟或外部網絡模塊。Mochi Edit 升頻的核心思想是直接操縱影片的潛在表示,而不是執行傳統影像生成管道中常見的複雜操作,如臉部檢測或姿勢估算。這一方法與創建更靈活和精簡的圖像生成過程的更廣泛目標是一致的,就像 GPT 能夠從任何輸入提示生成文本一樣。使用 Mochi Edit 的升頻技術,用戶可以直接從多模態描述中生成各種風格和修改,使過程更加直觀和高效。
簡而言之,Mochi Edit 允許您創建您上傳影片的小變化。像是將主體的運動複製並轉換到另一主體或更改背景設置、改變主體屬性等。
2. 如何使用 Mochi Edit 工作流程?
在此工作流程中,左側綠色節點是影片和文字的輸入,中間紫色節點是 mochi 升頻和取樣節點,右側藍色是影片輸出節點。
2.1 加載影片節點
- 點擊並在加載影片節點上傳影片
frame_load_cap
:默認為 32 幀。超過 32 幀,會觀察到跳動的偽影。保持在 3 秒(32)幀以下以獲得最佳效果。skip_frames
:如果希望從特定幀開始,則跳過幀
在升頻節點中使用正方形格式(512 x 512)或水平(848 x 480)尺寸。其他會出錯。
2.2 提示
這是實驗性的使用,有時可能有效,有時可能無效,或者有時會完全改變原始影片。
- 使用主體的小變化作為提示。
- 強烈的變化可能會完全扭曲和改變圖像。
- 如果沒有得到正確的結果,請嘗試不同的種子。
2.3 取樣和升頻節點組
取樣和升頻 Ksampler 被設置為作者的最佳設置。如果模糊地編輯設置可能會導致奇怪的不良結果。隨意調整:
- 取樣器的
Seed
以獲得變化 num_steps
和linear_step
以改變渲染質量或速度。eta
、start_step
和end_Step
以改變升頻強度、開始和結束百分比。
2.4 Mochi 模型
模型會自動從此 下載到你的 comfyui。首次下載 10.3 GB 模型大約需要 5-10 分鐘。
Mochi Edit 的升頻技術通過簡化過程和消除複雜的預處理或額外模塊的需求,徹底改變了影片和圖像編輯。這一創新方法使用戶能夠通過多模態提示輕鬆生成高質量、定制化的視覺效果。通過結合靈活性和可訪問性,Mochi Edit 為更直觀和創意的圖像生成未來鋪平了道路。