SCAIL: 参考画像のキャラクターアニメーションとモーション転送 | RunComfy

SCAIL は、Tsinghua University と Z.ai に関連付けられたキャラクター アニメーション モデルです。 1 つの参照キャラクター画像と運転動画を使用するため、キャラクターは画像から、モーションは動画から得られます。一般的なテキストから動画へのワークフローでは、主に書面によるプロンプトから新しいシーンを作成します。

SCAIL は、写真だけでなく、イラスト、漫画、アニメ スタイルのリファレンスでも使用できます。明確なシルエットと目に見える顔と体の特徴により、ソース キャラクターを認識し続けながら、モデルが運転モーションに追従するのに役立ちます。

現在の RunComfy インターフェースは 480p と 720p を提供しており、480p がデフォルトです。ページ スキーマでは、再生時間の制御やクリップの最大長の公開は行われないため、使用する予定の動画の現在のアップロード要件と API 要件を確認してください。

公開されたワークフローでは、1 つの参照画像、1 つの運転動画、オプションのテキスト プロンプトに加えて、resolution と seed が使用されます。このページでは、ControlNet または IP-Adapter の入力は公開されておらず、そのスキーマにはプロンプト トークンの制限が記載されていません。

RunComfy モデル インターフェースで参照画像と走行動画を検証し、対応する image、video、prompt、resolution、および seed フィールドを使用して SCAIL エンドポイントを呼び出します。実稼働ワークフローに認証、ポーリング、再試行、出力検証を追加します。

公開されたワークフローでは、ユーザーがフレームごとにポーズ スケルトンをアップロードする必要はありません。代わりに、参照イメージがキャラクターを定義し、運転動画が動きを提供するため、最初のアニメーション パスに必要な手動セットアップの量が削減されます。

SCAIL は、既存のキャラクター画像にモーションを転送することに特化しています。新しいシーンを作成することが目的の場合は、一般的なテキストから動画へのモデルまたは画像から動画へのモデルの方が適している可能性があります。特定のキャラクターと特定の運転モーションを組み合わせる必要がある場合は、SCAIL がより直接的に適合します。

ソースページにはライセンスが明記されていないため、商用許可があるとみなすべきではありません。商用プロジェクトで出力を使用する前に、現在の公式リポジトリとモデル ライセンス、および適用される RunComfy の規約を確認してください。

フレームごとのポーズ ファイルは入力として公開されません。画像と運転動画から初期結果を生成できますが、手、遮蔽物、速い動き、またはアイデンティティの詳細が重要な場合、制作作業でレビューやポストプロダクションが必要になる場合があります。

キャラクターを明確に示す鮮明な参考画像と、動きが読み取れる走行動画から始めます。同様のフレーミングと体のプロポーションにより転送が容易になりますが、重度のオクルージョン、混雑したシーン、または突然のカメラの動きには追加のテストが必要です。