株式会社東芝は25日、ビックデータや大規模メディアデータを高速照合する技術を開発したと発表した。

近年、ビッグデータの分析に用いるデータ量は予想を上回る速さで大容量化/大規模化しており、処理計算の高速化が求められている。東芝の本技術は、人物の顔や売上データなどを高次元ベクトルで表現し、あらかじめ類似のベクトル群を索引化しておくことで、高速照合を可能とした。

具体的には、ベクトル間の距離をなるべく維持したまま圧縮をする「ベクトル符号技術」、ベクトル間の距離を計算せずに、距離が比較的近いベクトル群をあらかじめ索引化する「ベクトル索引技術」、そして粗い検索と細かい検索を段階的に組み合わせる「パイプライン検索技術」の3つを連携させることで、高性能化と高速化を実現した。

中でもベクトル索引技術は、東芝が初めて開発したもので、問い合わせデータのベクトルに対して1つずつ照合するのではなく、索引化された類似ベクトル群を照合させることで高速処理を実現した。現在特許出願中という。

同社の独自計測によれば、5,800人の顔を撮した全1,000万枚の画像を用い、顔認識精度を98%以上と制約条件を付けた場合、ほかの技術では400msec前後かかっていた検索が、本技術ではわずか8.31msecで完了したという。また、国際手配者の顔写真リスト1,000万人とセキュリティゲートを通過する人物を照合した場合、従来の他社技術では約20秒を要していたが、本技術では約0.68秒で照合可能であったという。

この技術は今後、監視カメラの映像を照合する広域監視、特徴的な株価の動きなどを照合する金融データマイニング、大量の映像データから人物などを照合するパターンマッチング、国際手配者の検知や1,000万点以上の工業部品の画像認識などのメディア認識強化、学習と予測を自動的に行なうデータ分析クラウドサービスでの応用を見込む。