肉眼では大したことなさそうなものでも大変なことに。

車の標識にスプレーで落書きがあったとしましょう。人間なら、何が書いてあるか多少見えなくても、見える部分からそれが何を意味するか予想したり、周囲の状況から内容を想像することができると思います。少なくとも、住宅街なのに｢止まれ｣が制限速度100kmの標識に見えたりはしないでしょう。しかし、自動運転車ではそう簡単ではなさそうなのです。

ワシントン大学、ミシガン大学、ストーニーブルック大学、そしてカリフォルニア大学バークレー校の研究者たちは、自動運転車のシステムが見た物体を認識して分類するアルゴリズムを解析し、標識にちょっとしたステッカーを貼るだけで自動運転車を騙す方法を発見しました。一例では、ステッカーを印刷して標識に貼り付けることで、自動運転車にも使われている視覚システムを騙し、｢STOP｣表示を制限速度45マイル（約72km）の標識と誤認させることに成功しました。実際の世界でこうなった場合、どうなるかは想像に難くありません。

｢Robust Physical-World Attacks on Machine Learning Models（マシンラーニングモデルに対する、外界からの強固なアタック）｣という題名のこの論文で、研究者たちは視覚システムを騙す方法を複数発見しました。彼らはアルゴリズムがいかにカメラで捉えた物体を解析するかを調べることで、逆にアルゴリズムを撹乱させるような模様を作り出すことに成功したのです。何より恐ろしいのは、人間の目には単なる落書きや標識の一部として見られるくらいさりげない細工であるということです。

最初の方法は、一時停止の標識に撹乱させる模様を施して実寸台でプリントし、標識に貼り付けるというものです。

ご覧の通り、肉眼には汚れや色の霞みにしか見えませんが、自動運転車にも使われているプログラムに様々な角度から認識させたところ、100パーセントの確率で一時停止表示を速度制限45マイルと誤認しました。

次は｢グラフィティ・アタック｣と名付けられ、アルゴリズムを撹乱する模様を｢LOVE HATE｣と読めるステッカーにカモフラージュして標識に貼り付ける方法です。

グラフィティの名の通り、こちらはストリート・アートと呼べなくもない見た目です。人間にはSTOPがちゃんと読めるため、わざわざ剥がそうとは思わないでしょう。しかし、プログラムは3分の2の確率で誤認（うち一回は速度制限ではなく｢譲れ｣表示と誤認）を起こしました。

最後は｢抽象絵画アタック｣と呼ばれ、白黒のステッカーを適所に貼るだけのものです。最も撹乱模様の面積が小さいこの方法も、誰かの他愛ないイタズラ程度にしか見えず、人間の目には何の支障もないため非常にタチが悪いアタックです。しかも上記のグラフィティ・アタックと違って誤認率は100パーセントです。

非常に恐ろしい結果ですが、これらのアタックを成功させるには、ターゲットの自動運転車の識別システムがどんなアルゴリズムを使っているかを知っている必要があります。企業によってシステムが異なり、誤認させる模様もそれによって変わってくるからです。一度それが判明してしまえば、あとはプリンタさえあれば出来てしまうのも恐ろしいところですが。

自動運転システムのスタートアップ企業、Voyageの主任研究員であるTarek El-Gaaly氏がCar and Driverに答えたところによれば、解決策はあるそうです。｢地図や周囲の環境のコンテクスト情報を使えば防げるでしょう。例えば町中で65マイルの制限速度は常識的にありえないし、高速に一時停止があるはずもありません。それに、多くの自動運転車には複数のセンサーがあるため、複数のカメラとLIDARセンサーで安全装置を作れるはずです｣とのこと。

過剰に怖がる必要はないかもしれませんが、こういった可能性があるということは知って損はないでしょう。自動運転車が広く普及する前に対策をねってほしいですね。

Image: arxiv.org

Source: arxiv.org via AutoBlog、Car and Driver

（scheme_a）