ディープラーニング（深層学習）にもセキュリティ問題が存在する。データからルールを導き出す「訓練」に使用するデータに不正なものを紛れ込ませたり、認識に用いるデータにある種のノイズを加えたりすることで、AI（人工知能）に誤検出させようとする。AIの信頼性に関わる問題だけに、米Googleなどが対策に動き出している。

「AIが判断を間違えると、大変な問題を引き起こす恐れがある。AIをどうやって防御するかが、大きな課題になっている」。Googleに所属するAI研究者であるIan Goodfellow氏はそう語る。2017年10月にシリコンバレーで開催されたディープラーニングに関するカンファレンス「BayLearn 2017」でも、セキュリティ問題が大きなテーマになった。

GoogleのGoodfellow氏によれば、機械学習ベースの画像認識技術に対する攻撃手法には「アドバーサリアル・エグザンプル（Adversarial Examples）」や「トレーニングセット・ポイズニング（Training Set Poisoning）」などがあるという（図1）。

自動運転車が交通標識を誤認識する恐れ

アドバーサリアル・エグザンプル攻撃は、モデルに認識させる画像（エグザンプル）にある種の「ノイズ」を加えることで、画像の被写体を誤認識させる攻撃手法である。ノイズを加えた画像は、人間の目にはノイズを加える前と変わらないように見えるが、画像認識モデルには全く異なる画像に映るのだという（写真2）。ノイズを加えた画像のことを「アドバーサリアル（敵対的な）・エグザンプル」と呼ぶ。

アドバーサリアル・エグザンプル攻撃が恐ろしいのは、悪用が容易で、社会生活に与える悪影響が大きいことだ。例えば、自動運転車に交通標識を誤認識させる攻撃が有りうる。米ワシントン大学のIvan Evtimov氏らが2017年7月に発表した研究によれば、交通標識に細工をしたステッカーをはり付けるだけで、画像認識モデルをあざむき、「停止」の交通標識を「速度規制」の交通標識に誤認識させられたという（写真3）。自動運転の安全性に直結する問題だ。