APISR | アニメ画像/ビデオアップスケーラー

1. アニメ画像解像度のためのAPISR | ComfyUIアップスケールワークフロー

このComfyUIアップスケールワークフローは、低品質・低解像度のアニメ画像やビデオをアップスケールするためのAPISR(アニメ制作指向の画像超解像)モデルを統合しています。さらに、比較目的で4xAnimateSharpモデルも組み込まれています。

デフォルトでは、このワークフローは画像のアップスケール用に設定されています。ビデオをアップスケールするには、"load image"ノードを"load video"ノードに置き換え、"save image"ノードを"combine video"ノードに置き換えるだけで、シームレスに移行できます。

2. APISRの紹介

APISR(アニメ制作指向の画像超解像)は、実世界のシナリオで様々な劣化を受けた低品質・低解像度のアニメ画像やビデオソースを復元・強化するために設計されています。APISRは、写実的なSR技術の従来の適用がアニメの特徴的な特性に適切に対応できない可能性があることから逸脱し、アニメ超解像(SR)への関心の高まりに対応しています。

アニメSRでは、2つの主要な課題が特定されています。1つ目は、圧縮や経年劣化による手描き線の劣化であり、2つ目は望ましくない色の人工物の存在です。これらに対処するために、APISRでは、圧縮効果をシミュレートし、手描き線の復元を支援するために特別に設計された画像劣化モデルを導入しています。さらに、過度にシャープ化された画像からそれらをマージすることで、かすれた経年劣化した手描き線を強調する手法を提案しています。

GANベースのSRネットワークでよく発生する色の人工物の問題については、APISRではバランスの取れたツインパーセプチュアルロスを導入しています。この方法は、写実的ドメインとアニメドメインの両方から知覚特徴を組み合わせ、色の不整合を減らし、超解像アニメ画像の視覚的品質を向上させることを目的としています。

APISRは、アニメ向けに特別に設計されたデータセットキュレーションパイプライン、アニメ復元の独自の課題を対象とする画像劣化モデル、GANベースのSRネットワークトレーニングにおける色の人工物に対処するための革新的なアプローチを導入しています。これらの方法は、データセット用の最も情報量の多いフレームを選択し、劣化した手描き線を復元し、色の不整合に対処することで視覚的品質を向上させることで、アニメの超解像プロセスの強化に総合的に焦点を当てています。APISRのアプローチの有効性は、実世界のアニメSRデータセットに対する包括的な評価によって検証され、既存の技術と比較して大幅な進歩を示しています。

3. ComfyUI APISRを使ってアニメ画像解像度を上げる方法

APISRモデルは非常にユーザーフレンドリーです。希望するアップスケールサイズに対応するモデルを選択するだけです。

詳細については、githubと論文をご覧ください。