Self Forcing：自己回帰キーフレームからビデオ生成#

Self Forcing は高度なキーフレーム駆動のビデオ生成モデルです。Self Forcing は、説明的なテキストプロンプトのガイドに従い、開始キーフレームと終了キーフレーム間のモーションを生成することで、滑らかで高品質なビデオ合成を実現します。

KV キャッシングを備えた自己回帰ビデオ拡散アーキテクチャ上に構築された Self Forcing は、フレーム間で時間的に一貫した、アイデンティティを保持するモーション生成に優れています。Self Forcing のキーフレーム-テキスト共同アプローチにより、生成されたビデオ全体を通じて主体の構造とスタイルを維持しながら、流動的なトランジションを実現します。

なぜ Self Forcing を使うのか？#

Self Forcing の特長：

• キーフレームベースの生成：Self Forcing は開始と終了の参照画像を使用して外観とモーションを制御します
• プロンプト + キーフレーム制御：Self Forcing はクリエイティブなテキスト記述と参照構造を融合します
• 自己回帰モーション：Self Forcing はフレーム間の滑らかで時間的に一貫したトランジションを提供します
• アイデンティティ保持：Self Forcing は生成されたシーケンス全体で主体の忠実度を維持します
• 効率的なビデオ制作に最適：Self Forcing はキャラクター主導のストーリーテリング、映画的アニメーション、コンセプトビデオ合成に最適です

アニメーション、映画的シーケンス、またはアイデンティティ一貫した AI ビデオを生成する場合でも、Self Forcing は Self Forcing テクノロジーで滑らかで現実的なモーションを確保しながら、完全なクリエイティブコントロールを提供します。

入力画像#

このセクションでは、Self Forcing 用の開始キーフレームと終了キーフレーム画像をアップロードします。これら2つの画像は、Self Forcing 生成ビデオの開始と終了の外観を定義します。

• Self Forcing のために提供された Load Image ノードを使用して、両方の参照画像をアップロードしてください。
• 最適な Self Forcing の位置合わせとアスペクト比のために、オプションのリサイズおよびクロップノードを使用して画像を調整してください。
• 適切に位置合わせされ、適切にクロップされたキーフレームは、生成されたシーケンス全体の Self Forcing モーション一貫性を向上させます。

ビデオの長さ#

Self Forcing ビデオが生成する総フレーム数を設定します。

• より長いフレーム数は、Self Forcing でキーフレーム間のより段階的で滑らかなトランジションを可能にします。
• より短いフレーム数は、より速い Self Forcing トランジションを生み出します。
• 一般的な Self Forcing の範囲：希望の長さとモーションの複雑さに応じて 16-48 フレーム。

モデル#

このグループは Self Forcing 自己回帰ビデオ拡散モデルをロードします。Self Forcing ワークフローは自動的に正しいモデルバージョンを選択します。

• Self Forcing は KV キャッシングを備えた自己回帰ロールアウト上に構築されています。
• Self Forcing は安定した時間的に一貫したモーション生成を保証します。
• Self Forcing は RTX 4090 などのハイエンド GPU でリアルタイム推論を可能にします。

プロンプト#

このセクションでは、Self Forcing 生成をガイドするためのテキストプロンプトを入力できます。

• プロンプトをキーフレームと組み合わせて、Self Forcing のスタイル、背景、またはモーションコンテキストに影響を与えます。
• Self Forcing のクリエイティブコントロールを最大化するために、説明的で明確な言語を使用してください。
• ネガティブプロンプトを使用して、Self Forcing で不要な要素を抑制することもできます。

出力#

Self Forcing の生成が完了したら：

• Self Forcing ビデオは ComfyUI ディレクトリ内の Comfyui > output フォルダに自動保存されます。
• Self Forcing ファイルは、設定に応じてビデオクリップ（MP4 または画像シーケンス）として保存されます。

謝辞#

このワークフローは guandeh が開発した Self Forcing モデルを使用しています。 Self Forcing ワークフローは、ComfyUI 内でシームレスな Self Forcing ビデオ生成を可能にするために kijai の Wan Video Wrapper ノードを統合しています。 元の Self Forcing モデル開発と統合作業について、両著者に全面的に感謝します。

GitHub Repository: https://github.com/guandeh17/Self-Forcing