ToonCrafterは、事前学習された画像から動画への拡散プライアを使用して2つのカートゥーン画像間を補間する高度なAI技術です。これにより、ToonCrafterは2つの異なるカートゥーン画像から補間された動画を生成し、それらの間にシームレスなトランジションを作成します。512x320ピクセルの解像度で最大16フレームの動画生成をサポートしています。
ToonCrafterは、静的なカートゥーン画像からスムーズなアニメーションを作成するために設計されたAIツールです。Latent Diffusion Models (LDMs)を使用して画像を圧縮された潜在空間にエンコードし、ノイズを加えてから段階的に除去するプロセスを通じて画像を生成します。この方法により、元の画像間の中間フレームが生成され、流れるようなアニメーションが実現されます。
ToonCrafterの注目すべき機能の一つはToon Rectification Learningです。このプロセスは、もともと実写動画で訓練されたAIモデルを適応させてカートゥーンアニメーションを理解し生成するものです。高品質なカートゥーン動画の大規模なデータセットでモデルを微調整することで、ToonCrafterはカートゥーンの独特な動きやスタイル要素（誇張された動きやシンプルなテクスチャなど）を学習します。
さらに、ToonCrafterにはDetail Injection and Propagationメカニズムも組み込まれています。これはデュアルリファレンスベースの3Dデコーダを使用して生成されたフレームの視覚的な忠実度を維持します。デコーダは入力フレームからピクセルレベルの詳細を新しいフレームに分析して注入し、元のアートワークとの一貫性を確保し、視覚的なアーティファクトを防ぎます。
また、ToonCrafterはスケッチベースのコントローラブルジェネレーションも提供しており、アニメーターが中間フレームの作成をガイドするためのスケッチを提供できます。この機能により、アーティストはアニメーションプロセスをよりコントロールでき、特定のポーズや動きを指定し、最終的なアニメーションが彼らのビジョンに合致するようにすることができます。
ToonCrafterノードには、補間プロセスの動作と出力を決定するいくつかの入力パラメータが必要です。以下は各パラメータの詳細な説明です。
ToonCrafterノードの出力は、補間されたフレームのシーケンスであり、動画を作成するために使用できます。期待できるものは次のとおりです。
RunComfyは最高の ComfyUI プラットフォームです。次のものを提供しています: ComfyUIオンライン 環境とサービス、および ComfyUIワークフロー 魅力的なビジュアルが特徴です。 RunComfyはまた提供します AI Playground, アーティストが最新のAIツールを活用して素晴らしいアートを作成できるようにする。
