使用一張人像和一段音訊產生口播數字人影片,並可透過提示詞引導動作與表達方式。
React-1 接收必填的 video_url 和 audio_url 並生成嘴型同步結果,兩項輸入均不得超過 15 秒。你可以用 emotion 引導表演,用 model_mode 選擇編輯範圍,用 lipsync_mode 決定如何處理音訊與影片時長不一致,並透過 temperature 調整表現力。
| 參數 | 必填 | 預設值/可選值 | 作用 |
|---|---|---|---|
video_url | 是 | 範例影片 URL | 來源影片的公開 URL;最長 15 秒。 |
audio_url | 是 | 範例音訊 URL | 驅動音訊的公開 URL;最長 15 秒。 |
emotion | 否 | 預設 neutral | 精確可選值:happy、angry、sad、neutral、disgusted、surprised。只支援單一英文情緒詞。 |
model_mode | 否 | 預設 face | 精確可選值:lips、face、head。設定編輯區域和動作範圍。 |
lipsync_mode | 否 | 預設 bounce | 精確可選值:cut_off、loop、bounce、silence、remap。控制音訊與影片時長不一致時的處理方式。 |
temperature | 否 | 預設 0.5;範圍 0~1 | 控制嘴型同步的表現力。 |
emotion,並使用滿足需求的最小 model_mode 範圍。lipsync_mode,再以小幅度調整 temperature。使用一張人像和一段音訊產生口播數字人影片,並可透過提示詞引導動作與表達方式。
根據必填提示詞將一張必填參考圖片製作成影片。可設定輸出尺寸、影格數、播放影格率、隨機種子、步數、引導強度和 shift。
以 AI 將靜態圖像轉化為動態影片,支援音效同步與場景銜接,提升創作真實感與效率
以照片生成自然對話影片,呈現真實臉部動作與表情
支援高擬真動畫與風格控制,Runway Gen-3 Alpha Turbo 為設計師開啟創作新境界
將靜態圖片製作成原生 4K 電影感影片,支援首尾影格引導與同步音訊。
目前頁面將 React-1 定義為使用影片和音訊進行嘴型同步的工作流程,並提供情緒、編輯範圍、時長不一致處理方式和表現力參數。schema 沒有提供與 Lipsync-2 或 Lipsync-2-Pro 的基準資料,因此不能只憑本頁面確認相對畫質或身分保持能力。
可以。透過必填的 video_url 提供既有影片,透過必填的 audio_url 提供驅動音訊,兩項輸入均不得超過 15 秒;然後按需設定 emotion、model_mode、lipsync_mode 和 temperature。
schema 規定 video_url 和 audio_url 均不得超過 15 秒。它沒有輸出解析度、長寬比、影格率、輸出格式、ControlNet 或 IP-Adapter 參數,因此不能從本頁面確認 4K、1080p 或 16:9 等說法。
不可以。文件明確要求 video_url 和 audio_url 均不得超過 15 秒,目前 schema 沒有更長影片模式。
完成參數測試後,使用 RunComfy API 入口,並提交相同欄位:video_url、audio_url、emotion、model_mode、lipsync_mode 和 temperature。身分驗證、狀態輪詢、限制和計費請以最新 API 文件為準。
emotion 只能選擇 happy、angry、sad、neutral、disgusted、surprised,預設值為 neutral。model_mode 設定編輯範圍,temperature 在 0~1 之間調整表現力。schema 沒有說明特定的擴散或臉部幾何演算法。
從實際使用角度,建議選擇臉部和嘴部清楚可見的短片,並提供乾淨的最終音訊。嚴重遮擋、臉部過小或動作衝突可能增加結果檢查難度,但 schema 沒有針對這些情況公布正式畫質門檻。
目前頁面從既有的 video_url 和驅動 audio_url 開始,再提供嘴型同步表演參數。它沒有根據文字或圖片從零生成新場景的文生影片、圖生影片欄位。
商業使用取決於 Sync 與 RunComfy 的最新條款,以及你是否擁有來源影片和音訊的相應權利。schema 本身不授予統一的商業授權,付費或公開發布前請核對目前授權要求。
你可以從 6 個精確的 emotion 值中選擇一個,並透過 model_mode 將動作範圍設為 lips、face 或 head。lipsync_mode 處理時長不一致,temperature 調整表現力;不應據此推斷文件參數之外的更廣泛能力。
RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Models, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。





