グーグルの研究者らは、人工知能（AI）による危険な行動を防ぐために、「非常用ボタン」が使われる可能性について考察している。

グーグルのDeepMind（ディープマインド）と、オックスフォード大学FHI（Future of Humanity Institute）の研究者による研究論文（PDF）によれば、AIをつくる強化学習アルゴリズムには「安全に止める」方法がなくてはならないという。

関連記事：4億ドルの超知能「DeepMind」とは何者か？

ディープマインドのローラン・オルソーと、オックスフォード大学のスチュワート・アームストロングによるこの論文は、アルゴリズムが危険な方向に進み続けるのを人間が阻止するためのフレームワークを提案するものだ。

論文によると、「安全な停止機能は、異常行動を起こしたロボットを制御したり、難しい状況から抜け出させたり、さらには、学習していなかったり通常は報酬を受け取らなかったりするタスクを一時的に行わせたりするのに役立てることができる」という。

論文では、強化学習アルゴリズムは「現実の社会」といった複雑な環境で働くことが多く、あらゆる場合において意図された通りに行動するとは考えにくいと述べられている。そのため、人間が「非常停止ボタン」を押すことが必要になる可能性があるという。

必ずしも（AIの動きが）計画通りに進行しない一例として、テトリスをプレイするアルゴリズムの例が考えられる。アルゴリズムは学習を進めた結果、「負けないためにゲームを中断すること」を学習するかもしれない。そうしたことから研究者らは、最終的にアルゴリズムが、「（人間が押す）非常用ボタンを無効にすること」を学ぶかもしれないと主張している。

そうした事態を回避するために、研究者らは、動いているアルゴリズムに対する人間による介入が「目の前のタスクの一部ではないように見える」方法を提案している。つまり、停止命令が外部から指示されたものだと考えることなく自らを停止するようにマシンに教えるのだ。

RELATED ARTICLES 人工知能は「音楽」なのかもしれない：“AIの父”マーヴィン・ミンスキーが残した謎 人の助けがあってこそ、人工知能は人を助けられる 人工知能の「邪悪化」を防ぎたいイーロン・マスク、1,000万ドルを寄付

論文では、Q学習を例に挙げ、一部のアルゴリズムはすでに安全に停止させることが可能だとしている。ほかのアルゴリズムでも、停止できるように修正することができるという。

「しかし、すべてのアルゴリズムを、簡単に、安全に止めることができるかは不透明だ」。論文にはそうも書かれている。より普遍的なアルゴリズムを変更しようとした試みは、停止できる可能性が低いという結果に終わったそうだ。