その男のデスクには「サイバネティック・インプラント」が置かれていた。計算され尽くされたようなデザインのクールな物体である。

サイバネティック・インプラントとは、もっとわかりやすく言えばブレイン・コンピューター・インターフェース（BCI）だ。手のひらサイズで半透明の四角いプラスティック板に、カップケーキのデコレーションのようなチタンの粒が縦横16列に並んでいる。

そして、このパーツは脳の上に置かれる。iPhoneのケーブルを思わせる白いワイヤーが何本も出ており、それぞれの先端からは銅線がのぞいている。これがコンピューターに接続されるインターフェイス部分だ。

このインプラントのもち主はカリフォルニア大学サンフランシスコ校の神経外科医、エドワード・チャンである。チャンの研究チームは、BCIから出力されたデータに高度な処理を施すことで、ある素晴らしいことに取り組んでいた。

BCIを頭部に装着した人が言葉を発すると、脳の運動皮質で信号が発生する。研究チームはこの脳の信号を読み取り、行動に対応する活動を記録していく。この場合は、具体的には口や舌、あごの動きがそうだ。

それからソフトウェアが、こうした「脳の活動」をデジタル合成で人間が理解できる正確な話し言葉に置き換える。このとき、人間は実際に言葉を発する必要はない。

四角いパーツを脳の上に置き、銅線をコンピューターに接続する。PHOTOGRAPH BY UCSF

まるでヴァーチャル読唇術

チャンがコンピューターの画面上で、ある写真をクリックしていた。頭に包帯を巻いた患者が病院のベッドに横たわっており、包帯の下からはケーブルが出ている。

「この人がマイクに向かって話したら、わたしたちがリアルタイムで脳の活動を記録します」とチャンは話す。「脳の電気的活動、つまり脳内の電気信号によって送信された情報のコードが、どのように話し言葉を生じさせているかを理解するのです」

10年ほど前から、世界中の研究者が同じ課題に取り組んでいる。それは、例えるなら「脳の母語」のようなものを理解することだ。これによって、自分が話している姿を想像できるが、実際には話すことができない麻痺状態や病気の人が声を取り戻せるようになることを目指している。チャンのグループが『Nature』に掲載した論文は、この課題が解決されるときが近づいていることを示唆している。

こうした「ヴァーチャル読心術」は、実は治療に伴う産物とも言える。チャンの専門は発作の治療であり、このBCIはもともと治療時に使われるものだ。

もし難治性の発作が頻繁に起きたら、チャンのチームは患者の頭蓋骨を開き、脳の上にBCIを留置する。目的は、発作の発生源を突き止め、可能であれば手術によって治すことにある。ただしこの治療では、発作が起きるまで場合によっては何日もじっと待たなければならない。

「多くの患者が時間をもて余しています。ベッドに寝たきりの状態で2～3日過ごしていると、研究チームの訪問を歓迎する人も出てくるのです」。つまり、研究チームの実験に付き合ってくれる可能性が生じるということだ。そして実際に、5人の患者が実験を了承している。

より精密にダイレクトに脳の活動を測定

一般的に脳は決してお喋りではないが、だからといって寡黙でもない。複雑に入り組んだニューロンのネットワークで、メッセージを伝達する分子が活発に活動している。それでもなお、脳内で何が起きているかは正確にはわかっていない。

MRI（磁気共鳴画像装置）を使って脳活動を調べる機能的磁気共鳴画像法（fMRI）のおかげで、「○○をつかさどる脳の部位」がわかったと紹介する記事はよく見かけるようになった。しかし実際には、脳の活動は解明されているとは言えない。

fMRI画像は撮影に数秒かかるし、脳の部位の大半がぼやけて写る。解像度も非常に低い。一方で、脳波（EEG）の図は撮影スピードこそ速いものの、脳全体が一度に対象となる。

これに対して、チャンが使用しているような神経系統のインターフェースは、脳の活動をより精密な皮質脳波（Electro-Cortico-Grpahy：ECoG）で測定でき、より直接的に読み取ることもできる。BCIは、身体が麻痺している人々がコンピューターを操作するためにも使われてきた。

脳内の“モノローグ”を音声化

それにしても、脳の“モノローグ（独白）”をどうすれば声に変換できるのだろう？ チャンのグループは、ふたつのステップでこれを実現した。

まず、機械学習アルゴリズムを用いて、人の口が動くときの運動皮質の信号を、この動きによって生じる言葉の音声と同期する。続いてこれを使って口の各パーツを模造した「ヴァーチャルの口」を訓練する。研究チームは、BCIから得た信号を用いて、口の各パーツを制御できるというわけだ。

チャンの研究チームは、被験者5人が話しているところと、その際の皮質脳波を記録した。それからチームは、これらの記録を使ってコンピューターをトレーニングし、ヴァーチャルの口から音を出すように教えた。こうして、ヴァーチャルの口が発した言葉を、アマゾン ウェブ サービス（AWS）の「Amazon Mechanical Turk」で集めたワーカーたちに聞かせたところ、ワーカーたちはおおむね文字に起こすことができた。

「これは非常に注目されている研究テーマで、たくさんの素晴らしい研究チームが取り組んでいます」と、オランダにあるマーストリヒト大学のコンピューター科学者クリスチャン・ハーフは話す。ハーフの研究チームも、よく似た手法で運動皮質の活動を記録している。

具体的には、脳腫瘍の切除手術を覚醒状態で受ける患者が、意識を保った開頭状態で手術を待つ間に話してもらった。そして、ヴァーチャルの口を経由せずに、記録から直接、機械学習を使った音声出力を試みた。それでも、結果はチャンの研究チームと同じように良好だったという。

機械学習や皮質脳波測定の質が向上するなか、コンピューター科学者や言語学者、神経外科医が連携して研究に取り組んでおり、密かなブームになっているとハーフは説明する。

運動皮質と聴覚皮質

脳の活動を直接的に声に変換するという同じ目標を、異なるアプローチで目指す研究もある。コロンビア大学のチームが1月に論文を発表した研究では、運動皮質ではなく、音を処理する聴覚皮質の活動を記録し、そこから音声を生成した。

物理的に話すことができない人はたいていの場合、1文字ずつ音声に変換する技術を使うしかない。これは実際に話すのと比べてはるかに時間がかかる方法だ。研究者たちは、こうした人々によりよい選択肢をもたらしたいと考えている。

「思い浮かべた言葉の解読に、どちらのアプローチが適しているかはまだわかりませんが、ふたつをかけ合わせれば最良の解決策が生まれるかもしれません」と、研究を率いたコロンビア大学の工学者ニマ・メスガラニは話す。

VIDEO BY UCSF NEUROSURGERY

「ダイレクトな手法」の弊害

研究はまだ始まったばかりだ。この技術が臨床的、商業的に広まるのは何年も先だろう。何よりもまず、信頼できるモデルを訓練するにはデータセットが不十分だ。さらに、もっと根深い課題もある。

「この手法が適用できるのは、脳の皮質に直接アクセスできるケースにいまのところ限定されています。言うまでもありませんが、製品として大量消費市場に出したければ、頭蓋骨を開くわけにはいきません」と、ドイツにあるブレーメン大学のコンピューター科学者で、この分野の第一人者でもあるターニャ・シュルツは話す。シュルツは、ハーフが博士課程に在学していたときの指導教官でもある。

「さまざまな患者に施す検査の手順や手法は、通常は医学的な要件に基づいて決定されます。このため、電極の位置はそれぞれの患者によって異なるのです。また、脳そのものも同じものはありません。運動皮質のレイアウトはよく似ていますが、まったく同じではありません」。こうした問題が、脳の信号を音声に変換するモデルの普及を難しくしている。

つまり、優れた研究結果が得られたものの、「はっきり話すことはできるが、たまたま頭蓋骨を開ける必要があった人」に限定されているのだ。話す能力を失った人やもともと話すことができない人を対象としている研究であることを考えれば、この事実は当初の意図とは異なる。言ってみれば、こうした人々の運動皮質が、あごを制御する信号を送ることができるかどうかなどについてはわからないままだ。

“心の声”を伝えられる日

「話すことができない人についても、同じアルゴリズムが有効かどうかを知るためには、臨床試験をさらに進めるしかありません」と、チャンは記者会見で19年4月に語っている。「実際の麻痺患者でどのような結果が出るかを巡っては、非常に興味深い疑問がいくつか存在しています」

チャンのチームは、実際に言葉を発している人々から得られた脳信号と、その言葉を実際に発音せずに口だけ動かした場合の脳信号を比較し、類似した結果を得ることができた。ただし、こうした手法が英語以外の言語でも有効かどうかはわかっていない。

だが、有効でない理由はない。発音のヴァリエーションを身体的に見れば、すべての人類において共通していると思われるからだ。また、頭のなかだけで話した場合や言葉を思い浮かべただけの場合も有効かどうかはわかっていない。

すべてはこれから解明されていくことになる。しかし、少なくともいつかは、ひと言も発することなく心の声を伝えられる日が来るかもしれない。