現在最高の圧縮効率を誇るAVC/H.264は1GbpsのフルHDTVを10Mbps以下に圧縮できる。1/100以上の圧縮率ということになるが、次世代beyond HDTVの8k4kの空間解像度、60〜300fpsの時間解像度、マルチスペクトルの色表現、10〜16bit/pelの画素値深度、複数視点を考えると情報量は16〜200Gbpsとなるため、ビットレートを100Mbpsまで許容したとしても、圧縮率をさらに10倍は引き上げる必要がある(1/1000以上)。

上記の要求に対し、短期的には従来のAVC/H.264で用いられている動き補償予測とDCTを組み合わせたMC+DCTの枠組みを維持し、改良を積み重ねて圧縮率向上を図るアプローチが取られるが、長期的には従来の枠組みに囚われない新たなブレークスルーが必要となる。本エントリでは、情報処理6月号の解説*1より、画像圧縮技術のブレークスルーの萌芽を紹介したい。

疑似表現符号化 (Pseudo-representation Coding)

従来の符号化が原画にできるだけ忠実に再現することを目的としていたのに対し、疑似表現符号化においては、「似てればOK」「それっぽければOK」という主観が重視される。たとえば森の映像を表現するとき、木々の一本一本、葉の一枚一枚まで忠実に再現しなくても、全体としてそれっぽく表現されていれば良いとする。

たとえば芝生、土、空、花畑、水、波、煙、風などのテクスチャ領域は、厳密に描画しなくてもそれらしく表現されていれば、画像全体を見た時に違和感がない。そこで、画像中のテクスチャ領域を抽出し、その領域を表現するパラメタセットを符号化、再生側ではパラメタセットからテクスチャを生成して合成するパラメトリックテクスチャが考えられる。グラフカットを用いたテクスチャ合成*2はその一例だ。小さな入力画像から、繰り返しが目立たない大きなテクスチャが生成されていることが分かる。





Graphcut Textures: Image and Video Synthesis Using Graph Cuts



また最近民生機器における応用が活発な超解像*3も有望な技術だ。超解像とは、解像度の低い画像から、本来含まれていない周波数成分を推定して、解像度の高い画像を生成する技術である。時空間的に隣接する情報から欠落領域を再生するinpaintingや、白黒画像からカラー画像を再生するcolorization *4も超解像の一種だと考えられる。





Colorization using optimization



上図はcolorizationの適用例であり、凸二次最適化問題を解き、人手によるアノテーションからカラー画像を再現する。サイトには動画もアップされているが、エンコード時に低解像度化や白黒化するなどして情報量を落とし、デコード時に限られた情報量からリッチな情報を生成することができれば、圧縮率の向上が期待できる。