NeSprite Series

従来のドット変換

Before

After

単純なドット変換は、ニアレストネイバー法での画像縮小と、k-means減色法の組み合わせで実現できます。
従来のドット変換の処理では、ハイクオリティと言っても上記の処理に加え、彩度/コントラストの調整や、輪郭線の強調といった処理が追加されるだけでした。

画像のドット変換としては従来の方法で十分なクオリティは得られましたが、動画のドット変換となると同じことが言えませんでした。

初期のAI生成動画は、誰が見てもAI生成であると識別できたと思います。
これは、フレームを1枚ごとに生成していたため、人物の表情や背景といった細かい部分に差異が生じていたことが原因です。 最新のAI生成動画では、フレームを一貫したシーケンスとして生成するようになったことでこの問題を解決しています。

つまり、違和感のない動画とはフレームごとの処理が一定で、ランダムな要素があってはならないということです。
従来のドット変換アルゴリズムをそのまま動画のドット変換に使用すると、画面にチラツキが発生します。
これはk-means減色法に若干のランダム性があり、フレームごとに色の変化が生じることが原因です。

この問題を解決するために生まれたのが「NeSprite」のアルゴリズムです。

NeSpriteのアルゴリズム

Before

After

1. 白画素の収縮による境界線の強調
   これは従来のドット変換でも使用されている手法で、画像の縮小によって損なわれがちな輪郭線を、縮小前に太くすることでディテールを保つ役割です。
   
2. (コントラスト/彩度/明るさ/色相)の調整
   よりドット絵らしい変換に必要な処理になります。
   コントラストを上げると明瞭さが向上し、彩度を上げることで色強度の強いドット絵のスタイルに近付けます。
3. ニアレストネイバー法での画像縮小
   通常画像の縮小に使われる方法は、ピクセル補間を行い色を混合して自然な画像に仕上げています。
   しかしこの方法だと色が散漫になり、元の画像のディテールが損なわれてしまいます。
   ドット変換ではニアレストネイバー法という単純な縮小法を使用して画像の縮小を行います。
   処理が高速というメリットもあります。
4. ディザリング
   何百万色という色の表現域を持つ画像を数色～数十色に減色すると、色と色の段(カラーバンド)が発生します。
   ドット絵には中間色をアミアミのようなスタイルで表現する手法があります。それがディザリングです。
   NeSpriteでは、実際にゲームボーイのポケットカメラでも採用されていたパターンディザリングが採用されています。
5. 各画素をパレット内の近似色に置換
   事前に定義されたパレットから色を再配置することで減色を行います。
   k-means減色法とは異なり、計算によって画素の色を決めているためランダム性がありません。
   パレットという概念はレトロゲームでも採用されており、ドット表現との親和性が非常に高いです。

クリエイターに最適

NeSpriteの最大の特徴は、パレットを使用した変換にあります。
ドット絵アーティストやゲーム開発者にとって、パレットは馴染み深いはずです。
自分の望む色でドット絵に変換出来たら面白いと思いませんか？

NeSpriteはそれが出来ます。
動画のドット変換に最適化されたアルゴリズムと、クリエイター&エンジニア向けに設計された機能を搭載しています。