グーグルの人工知能（AI）開発チーム「Google Brain」の研究者であるシャン・カーターは、「風変わりなもの」を持って小学2年生になる娘のクラスを訪ねた。それはサイケデリックな大量の画像で、曖昧な形が寄せ集まって歪んだ風車のように色彩が渦巻いている。

これらの画像を見せられた児童たちは、ぼんやりとしたしみのひとつを犬の耳だとすぐに気づいた。つまり、7歳の子どもたちがニューラルネットワークに内包されたヴィジョンを解読したのだ。このことに、カーターは喜んでいた。

研究者たちは、ディープラーニングの“ブラックボックス”に風穴を開けようと試みている。カーターもそのひとりだ。

ニューラルネットワークは、画像に含まれる対象を識別するといったタスクを見事にやってのけることを証明した。しかし、その際にどうやって識別しているのかについては大部分が謎のままだ。ニューラルネットワーク内部の働きには、人間の目が届かない。コンピューターによる処理が幾重にも重なっており、エラーやバイアスを突き止めるのは難しいからだ。

こうしたなか、彼のチームはニューラルネットワークの内部を垣間見ることができる論文をこのほど発表し、視覚概念がどのように構築され整理されているのかを示した。

“芸術家”になり得るニューラルネットワーク

この研究が始まったのは2015年のことだ。論文の共著者であるクリス・オラーは当時、リヴァースエンジニアリングによってニューラルネットワークの解釈に取り組むプログラム「Deep Dream」の設計に協力していた。

オラーのチームはまず、巨大な画像データベースである「ImageNet」を使い、ニューラルネットワークに対しておびただしい数の対象を識別できるように学習させた。そしてこの「学習」を踏まえて、犬や木を描くよう命じたのだ。

この結果として得られたのが、まるで幻覚を起こさせるような画像だった。それは、与えられた情報をモデルがどのように「見た」のかを限定的に反映している。のちになって、これと同様のシステムを利用すれば、そこそこの値段がつく“芸術作品”を生み出せることもわかった。

100を超える犬種を判別する方法

それ以来、オラーはこうした視覚表現をもっと進化させようと取り組んできた。彼は現在、研究団体のOpenAIでAIの解釈に特化したチームを率いている。

ニューラルネットワークは、研究者たちが「ニューロン」と表現する層で構成される。このニューロンは、画像の何らかの要素に反応して「発火」を引き起こす。

カーターとオラーはネットワークの層ごとに、ほぼ同じ組み合せのニューロンが発火した画像をグループ化して、Deep Dreamにおける取り組みと同様に、ニューロンが発火を引き起こすと予想される画像を復元した。低いレヴェルではピクセルが並んだだけにすぎず、はっきりとわからない。一方で、高いレヴェルでは犬の鼻先やサメのヒレなどがゆがんで写っている。

研究チームはこうした画像を類似したグループが近くなるように並べ、出来上がったマップを「Activation Atlas（活性化の地図）」と名付けた。このおかげで研究者たちは、ニューラルネットワークについていくつかのことを観察できるようになったのだ。

形や質感といった基本的な視覚概念から個々のオブジェクトへと、さまざまな層を切り替える。そうすることで、ニューラルネットワークがどのような過程を経て最終的な判断に至ったのかを理解できる。

例えば、ImageNetには100を超える犬種が含まれているが、その大部分は耳の垂れ方で区別されていることに、オラーは気づいた。Activation Atlasは、さまざまな対象やアイデアをニューラルネットワークがどのように関連づけているかを示している。つまり、犬の耳は猫の耳ほどあまり離れていないといった具合だ。また、層が進むにつれて、そうした区別がより明確になっていくことなども表している。

「野球ボール」でクジラはサメになる

「Activation Atlasは有用性への第一歩だが、いまのところ実用性はやや限定的です」。今回の研究には関与していないワイオミング大学教授ジェフ・クルーンはそう語った。

ニューラルネットワークがどのように機能しているのかを理解しようとする研究者たちは、勝ち目のないゲームを戦ってきた、と彼は指摘している。ネットワークはますます複雑化しており、その基盤となるコンピューターの処理能力はさらに高まっているからだ。

「ニューラルネットワークやコンピューターの処理能力は、人間が理解に及ぶテクノロジーを開発する能力をはるかにしのぐ勢いで進歩しています」と彼は話す。

一方で、今回の研究には驚くべき発見もある。オラーはまず、濁った水域を魚のヒレが波を切って進んでいる不吉な写真を取り出した。これは果たしてコククジラのものなのか、それとも巨大なホオジロザメのものなのか──。魚釣りの経験がない自分は推測することもできないが、クジラとサメのヒレの画像を大量に見てきたニューラルネットワークには、わけもなく判断できるはずだ。

彼は次に、ニューラルネットワークのあるレヴェルにおいて、この2種類の動物に関連するActivation Atlasに含まれた画像を見せた。サメの画像のひとつに、特に奇妙なものがある。少し目を細めれば白い歯と歯肉が並んでいるように見えるが、もしかすると野球ボールの縫い目に見えるかもしれない画像だ。

クジラとサメに関連づけられた画像を閲覧していた研究チームは、おそらくサメのあごであろうひとつの画像が、野球のボールに似ていることに気づいた。PHOTOGRAPH BY CARTER ET AL

今回の研究では、こうした視覚的メタファーの才能をニューラルネットワークがもち合わせていることがわかった。この事実は、システムをだます小細工として使うことが可能だ。例えば、片隅に野球ボールがある郵便切手の画像を挿入するなど、ヒレの写真に手を加えてみる。そうすると、ニューラルネットワークにクジラのことをサメなのだと思い込ませることが簡単にできるということを、カーターとオラーは発見した。

野球ボールの切手画像を挿入すれば、ニューラルネットワークにクジラをサメだと思い込ませることができることがわかった。PHOTOGRAPH BY CARTER ET AL

誤認は防げるか

オラーによれば、この手法を悪意をもった誰かが用いる可能性は低いという。もっと気軽かつ巧妙にこうした混乱を起こす方法があるからだ。猫をメキシコ料理のワカモレと思い込ませたり、 自律走行車に一時停止の標識を誤って認識させたりするような、いわゆる敵対的パッチは自動的に生成できる。

そうは言っても、ニューラルネットワーク内部の奥深くを人間が十分に学習することで、ニューラルネットワークをいわばもて遊ぶことができるというのは心躍ることだ、というのが彼の考えである。ニューラルネットワークのなかをのぞき込むことで、将来的に混沌とした状態や偏見を識別し、さらには修正するのに役立つようになればと願う。

ニューラルネットワークは一般的に、静止画像内における対象を分類することに非常に長けている半面、人間を人種によってゴリラや人間ではないものと誤認することもよくある。こうした視覚化ツールがあれば、本来関係ない情報や視覚的に似たものがどうして間違いを引き起こしたのかを、研究者は検討することができるのだ。

とはいえ、ニューラルネットワークの内部を推測する試みにはリスクもある。「解釈の研究では、思い違いをしているかもしれないという懸念がついて回ります」とオラーは言う。自分たちになじみのある視覚概念を押し付けようとしたり、理にかなった安易な説明を探そうとしたりする恐れがあるのだ。

こうしたこともあって、AI研究のパイオニアであるジェフリー・ヒントンをはじめ一部の人たちは、AIがしたことの理由を説明する際に人間の解釈に頼りすぎてはいけないと警鐘を鳴らし続けてきた。人間の脳の判断を人間が説明できないのと同じように、コンピューターも同じ問題に突き当たるのだ。この問題について、ヒントンは『WIRED』US版のインタヴューで次のように語っている。

「判断の説明を求めれば、話をつくり上げざるを得なくなります」