React-1 リップシンク: 感情と顔の動きのコントロール | RunComfy

このページでは、感情、編集範囲、不一致処理、表現力のコントロールを備えた動画と音声のリップシンク ワークフローとして React-1 について説明します。これには、Lipsync-2 または Lipsync-2-Pro に対するベンチマーク データが含まれていないため、相対的な品質や同一性保持の主張をスキーマだけから確認することはできません。

はい。必須の video_url を通じて既存のクリップを指定し、必須の audio_url を通じて運転トラックを指定します。どちらも 15 秒以下である必要があります。次に、必要に応じて、emotion、model_mode、lipsync_mode、および temperature を選択します。

スキーマでは、video_url と audio_url の入力がそれぞれ 15 秒に制限されています。出力解像度、アスペクト比、フレーム レート、出力形式、ControlNet、または IP アダプターの設定は公開されないため、このページでは 4K、1080p、および 16:9 の主張は確立されていません。

いいえ。文書化された video_url および audio_url の入力はそれぞれ 15 秒以下である必要があります。スキーマには、より長いシーケンスのモードが記述されていません。

設定をテストした後、RunComfy API エンドポイント を使用して、同じ文書化されたフィールド: video_url、audio_url、emotion、model_mode、lipsync_mode、および temperature) を送信します。認証、ステータスポーリング、制限、請求については、最新の API ドキュメントを参照してください。

emotion は、happy、angry、sad、neutral、disgusted、または surprised を正確に受け入れます。neutral がデフォルトです。 model_mode は編集範囲を設定し、temperature は 0 と 1 の間で表現力を調整します。このスキーマには、特定の拡散方法や顔のジオメトリ方法が記載されていません。

実際的なガイダンスとして、話している顔と口が見える短いクリップを使用し、きれいな最終的な音声を提供します。スキーマではこれらの条件に対する正式な品質しきい値が公開されていませんが、重度のオクルージョン、非常に小さな顔、または競合するモーションはレビューを難しくする可能性があります。

このページは既存の video_url から始まり、audio_url を駆動し、リップシンク パフォーマンス コントロールを公開します。新しいシーンを最初から作成するためのテキストから動画への生成フィールドやイメージから動画への生成フィールドは提供されません。

商用利用は、最新の Sync および RunComfy の規約、および元動画と音声の権利に依存します。スキーマ自体は普遍的な商用ライセンスを付与するものではありません。有料配布または一般配布する前に、現在のライセンスを確認してください。

つまり、6 つの正確な emotion 値のいずれかを選択し、モーション スコープを lips、face、または head ～ model_mode に設定できることを意味します。 lipsync_mode は長さの不一致を処理し、temperature は表現力を調整します。これらの文書化された制御を超えて、より広範なパフォーマンス機能を推測することはできません。