ピッツバーグにあるフェイスブック・リアリティ・ラボ（FRL）。リサーチ・アシスタントのオータム・トリンブルが、「コーデック・アヴァター」を生成するマシン「Mugsy」の内部に座っている。PHOTOGRAPH BY LAVENDER LEIGH

「ドアのところに大きくて醜いやつがいるの」と、その若い女性が目を輝かせながら独白する。

「彼はこう言ったのよ。『自分を何さまだと思ってるんだ、レナ・ホーン？』ってね。だから人違いだって言い返して、でもミス・ホーンのことなら自分の姉妹のようによく知っているのよ、と答えたの」──。

これはウォルトン・ジョーンズの音楽劇『The 1940’s Radio Hour』の短い独演パートの出だしである。この音楽劇は1979年にブロードウェイで上演された。

独り語りを続ける彼女は、どう見ても自分が何をしているのかを理解しているようだった。せりふで言及したドアマンの口調が変わっていった様子を語りながら、さらに彼女の笑顔は増していく。

まるでジョークを話しているように的確な言葉を選び、抑揚をつけて話す口元には笑みが浮かんでいた。暗い背景もあいまって、まるで79年に上演された音楽劇が、ブラックボックス（黒い壁に囲まれた劇場）で再演されているような錯覚に陥る。

ただし、ひとつだけ“問題”があった。彼女には首から下がないのだ。

従来型アヴァターの制約

ここでヤーセル・シェイフが手を伸ばすと、動画は停止した。映っていた女性は、驚くほど実物そっくりの仮想現実（VR）のアヴァターだったのだ。そして彼女のパフォーマンスは、事前に収集されたデータをもとに生成されたものだったのである。

フェイスブック・リアリティ・ラボ（FRL）のピッツバーグ拠点を率いるシェイフは、さらに驚くような動画を用意していた。

その動画には先ほどの女性が、もうひとりの男性とともにVRヘッドセットをつけて登場する。ヘッドセットをつけたふたりの右側には、それぞれのアヴァターが表示されていて、本物と寸分たがわずシンクロしながら動いている。2人が交わしている会話は面白みのないものだった（ホットヨガの話をしている）。しかし、この動画が見せているのは、これまでになかったような「未来」の片鱗でもあった。

本物の人間に見えるかもしれないが、これは生成されたコーデック・アヴァターだ。VIDEO BY FACEBOOK

人々はもう何年も前からVRの世界において、コンピューターが生成したアヴァターを介してコミュニケーションをとってきた。VRのヘッドセットとハンドコントローラーは人の動きに追随するので、頭や手の動きがVRでの会話においても再現される。だからこそ、無意識のクセや仕草がリアルな印象を生むのだ。ヴァーチャルなやりとりは自然になってきたとはいえ、技術的な制約ゆえ見た目のシンプルさはどうしても否めない。

「Rec Room」や「AltspaceVR」といったソーシャルVRアプリでは、人間はキャラクターなどに抽象化されてしまうので、その表情が本当の顔の動きを表現してくれることは（仮にあったとしても）ほとんどない。フェイスブックのVRアプリ「Facebook Spaces」も、ユーザーが投稿した写真をもとに実物とかなり似たアニメのアヴァターを生成できるものの、特定の表情を示すにはコントローラーのボタンやスティックを使わなければならない。

「High Fidelity」など、より高度な技術が必要なプラットフォームでは、自分自身をスキャンした3Dモデルをインポートできる。とはいえ、自分自身であると感じられるレヴェルのアヴァターの生成には、ほど遠い。

社会的な表現を機械学習で訓練

だからこそ「未来」を確かめるために、はるばるピッツバーグにあるFRLの施設までやって来たのだ。この場所には関係者以外、ほとんど足を踏み入れたことがない。

そしてシェイフのチームは、これまでずっと取り組んできた成果をついに披露しようとしている。いまは最初に借りた場所からカーネギーメロン大学に近い広い場所に移転しているが、1〜2年以内に規模をさらに拡大する予定という。

フェイスブックのシステムは、機械学習を使って人間の社会的な表現方法や表情などのデータを収集し、学習する。こうして人の表現を忠実にVRで再現したアヴァターを、FRLは「コーデック・アヴァター」と呼んでいる。

これはまだ実用段階には遠い技術で、仮にFacebookで何らかのかたちで採用されたとしても、早くて数年後だろう。とはいえ、コーデック・アヴァターの話題を口にできるぐらいにまで、FRLのチームの準備は整ってきたようだ。

本物の人間（左側）と、生成されたコーデック・アヴァター（右側）の比較。VIDEO BY FACEBOOK

「完成すればかなり注目されることになるでしょうね」と語るシェイフの顔からは、笑みがこぼれている。それだけ完成させられる自信がある証拠なのだろう。「早く公表したいですし、これについて話したいと思っています」

人類学者のエドワード・サピアは、1927年に発表した論文『The Unconscious Patterning of Behavior in Society（社会における無意識の行動様式）』で、次のように指摘している。

人間はジェスチャーに対して、「どこにも書かれておらず誰にも知られていないが、すべての人が理解している複雑で不思議な作法に従って」反応を示す──。それから92年が経ったいま、その複雑な作法を再現することが、シェイフの全うすべき使命になった。

見た目に加えて声も動きもそっくり

シェイフはフェイスブックに入社する前には、カーネギーメロン大学の教授としてコンピューターヴィジョンと社会的認知の共通点について研究していた。そんな彼のもとに、オキュラスの主任研究者であるマイケル・アブラッシュから連絡が入ったのは15年のことだった。拡張現実（AR）とVRの今後の展望について話し合いたいと言われたシェイフは、ためらうことなく自身のヴィジョンを明かした。

「VRによって確実にもたらされる未来では──」。シェイフは、常に手にしている大きなコーヒーカップを両手で包み込むように持って、こう話し始めた。

「あなたが飛行機でわざわざここまで来て、わたしに直接会う必要はなくなります。ヘッドセットを装着するだけで、まさにいま交わしているような会話ができるようになるのです。そのときはアニメふうのあなたでも、怪物のような顔をしたわたしでもありません。アヴァターは見た目だけでなく、動きも声もその人そのものになるのです」

この研究所が設立されたときの文書のなかでシェイフは、脳が仮想的な環境やそこでのやりとりに対して本物であるかのような感覚を抱く現象に触れ、この施設を「social presence laboratory」と表現していた。そして、まるで写真のようにリアルなアヴァターを7～8人のチームで5年以内に完成させられる可能性がある、とも記していた。

こうした使命に変わりはないが、歩みの途中で展望に変化を伴うのは必然ともいえる。もともと「オキュラス・リサーチ」と呼ばれていた研究所は、18年からは「フェイスブック・リアリティ・ラボ（FRL）」に改名したのだ。

自分のアヴァターを愛せるか

コーデック・アヴァターの根底にある理論は単純である。シェイフによると、ふたつの要素から成り立っているという。ひとつは「ego test」で、もうひとつは「mom test」である。つまり、人は自らのアヴァターを愛せるか、そして自分の大切な人も同じようにそのアヴァターを愛せるか──を試すというものだ。

しかし、アヴァターを使えるようにするための「作業」は、はるかに複雑だ。実際に2通りのキャプチャー処理を体験してみて、このことに気づいた。

ひとつ目の処理は「Mugsy（マグシー）」と呼ばれるドーム型の空間で行われた。内部の壁と天井にはキヤノンの市販レンズ132個とライト350個が散りばめられており、そのすべてが中央にある一脚の椅子の方向を向いている。そこに座っていると、パパラッチたちに見つめられた黒い穴の中にいるような気持ちになる。

「もともとは『Mugshooter（マグシューター）』という野暮な名前をつけたのですが」と、シェイフは語る。いくつか前のヴァージョンのときの話だった。「冷たい印象を与え、親しみに欠ける名前だと気づいたのです」

Mugsyはそれからカメラの数が増え、性能も着実に向上した。間に合わせでこしらえられた初期のヴァージョンは、当然ながら時代遅れになっていった。なにしろ最初は被写体の顔を適切な位置に保つため、ひもにつないだピンポン球を使っていたのだ。

システムの最新版で生成されたアヴァター。VIDEO BY FACEBOOK

被写体となる人はMugsy内の椅子に1時間ほど座って大げさな表情をしてみたり、声に出して文章を読んだりする。何をするかは、ウェブカメラを通じて別室にいる人物が指示を出す。「歯を食いしばって」「力を抜いて」「歯を全部見せて」「またリラックスして」「顔にくしゃっとしわを寄せて」「はい、力を抜いて」──といった具合だ。

「頬を吸い寄せて、魚みたいな顔をして」と、テクニカルプログラムマネージャーのダニエル・ベルコはわたしに指示した。いったいどんなふうに見られているのか、恥ずかしさに屈しそうになりながらもそれに従う。すると「頬を膨らませて」と、ようやく次の指示が出た。

服の動きまで学習

近代の監視システムを形容する「パノプティコン」といった言葉が頭に浮かんだなら、それは正しい。ただし、その言葉はふたつ目のキャプチャー装置に贈ったほうがいいだろう。もっと大きなドーム型の装置で、その名も「Sociopticon（ソシオプティコン）」と、ラボでは呼ばれている。

ちなみにシェイフはカーネギーメロン大学時代に、Sociopticonの前身に当たる「Panoptic Studio」というロボットのコミュニケーション能力を向上させるシステムを完成させている。

関連記事：ロボットの“訓練”に使う「秘密の地下ドーム」に潜入：カーネギーメロン大学で開発

Sociopticonは、マイクロソフトにあるスタジオ「Mixed Reality Capture Studio」と、かなり似ている。だが、カメラの数はSociopticonのほうが多く（Sociopticonは180個、Mixed Reality Capture Studioは106個）、解像度も高い（2.5K4Kと2K2K）。さらにフレームレートも大きく、サンプリング周波数はSociopticonが90Hzであるのに対してMixed Reality Capture Studioは30Hzか60Hzだ。

Mugsyが顔の動きを集中的に読みとる一方で、Sociopticonはコーデック・アヴァターの生成システムが人間の体と着ている服の動きを学習できるようにする。そこで、Sociopticonに入っているあいだは顔の表情をつくるというよりも、いわば「手抜きの柔軟体操」のような動きに徹することになった。手足を振ったりジャンプしたりしていたほか、ウェブカメラを通じてベルコとジェスチャーゲームまで楽しんだ。

つまり、できるだけ多くの情報を取り込むということなのだ。なにしろMugsyとSociopticonは、毎秒180ギガバイトものデータを収集する。こうしてニューラルネットワークは、あらゆる角度からの表情や動きを、音や筋肉の歪みなどに関連づけることを学んでいく。

取り込む情報が多ければ多いほど、「深層外見モデル（deep appearance model）」は強化され、訓練されていく。こうした情報をコード化して、別のところにいる人のヘッドセット内でアヴァターとして“再生”できるようになるのだ。

インターネットが登場してまもないころに動画の圧縮で苦労していた人なら誰もがわかるように、コーデック・アヴァターの「コーデック（codec）」という言葉は、データの変換と復号を意味する「コーダー（corder）／デコーダー（decoder）」に由来している。生データをそのまま利用するのではなく、リサーチサイエンティストのジェイソン・サラギによると、データは“解釈”される必要がある。

やはり「不気味の谷」に落ちるのか

一般のユーザーがアヴァターを利用するとしても、MugsyやSociopticonといった巨大な機器を自宅のリヴィングルームに設置することはない。使うのはVRとARに対応したヘッドセット、例えばヘッドマウントディスプレイのようなものになるだろう。

そこでFRLの研究者たちは、ヘッドマウントディスプレイのように頭に装着するキャプチャーシステムを開発した。「Argent」と呼ばれているこのシステムには、赤外線LEDとカメラが搭載されていて、それらが顔のさまざまな部位を捉えている。カメラによって集められたデータをソフトウェアが再構築して、ユーザーの画像を生成する仕組みだ。

シェイフ率いるチームが近い将来の目標としているのは、スキャンする範囲を顔回りだけでなく全身へと広げていくことだ。そのためにソフトウェアは、サラギが言うところの「よそ者っぽい」感じ、つまりアヴァターを人間らしくない奇妙な相手だと感じる問題を解決しなければならない。

例えば周囲が暗ければ、この状況をシステムは考慮する必要がある。もしあなたが腕を背中のほうに回したら、VRのなかにいる友人があなたの背後に回り込んだときに手の動きを見られるように、システムは手の状態まで把握できていなければならない。

また、アヴァターの動作ができるだけ滑らかになるように、あなたの次の動きを予測できるようになっておく必要もあるだろう。いずれも不確定要素や制約を取り除き、あなた自身を生き生きとそっくりそのままアヴァターとして表現できるようにすることが狙いだ。

VIDEO BY FACEBOOK

人間の動きをリアルに描くのは難しい。それは紛れもない事実だ。超大ヒット作のヴィデオゲームでさえ、髪の毛や目、口の中などの再現に苦労している。一歩間違えれば「不気味の谷」へとまっしぐらに突き進み、転落してしまうだろう。人間に極めて近いのに「なにか違う」ものを目にすると、人は本能的に不快感を覚えるものだ。

「あり得ない」と感じさせるレヴェル

わたし自身をキャプチャーする作業を終え、シェイフや研究者のスティーヴ・ロンバルディとライヴチャットをするためにヘッドセットを装着した。仮想環境における「現実」が、不気味の谷という同じ罠にはまることは避けられないだろう──。このときまでそう考えていた。

ところが、実際にはそうではなかった。シェイフのアヴァターは確かに本物の彼とは違って、あごひげもなければ賢そうな丸メガネもかけていない。こうしたものまで正確に取り込むのは彼いわく難しいということで、“素”の状態でキャプチャーしたからだ。

こうした違いこそあれ、そのアヴァターはシェイフそのものだった。「近寄ってひげの剃り跡をよく見てください」と言われたとき、あまりにそっくりだったので彼のパーソナルスペースを侵害してしまうのではないかと思ったほどだ。

ロンバルディのアヴァターも、まさに彼自身だった。チャットのあとで“本物”の彼が部屋に入ってきたとき、初対面だったにもかかわらず知り合いのように思えた。

完成したアヴァターは、決して完璧ではない。実際に人間が興奮しながら話しているときのアヴァターの口の動きは、声のトーンから想像されるものとはズレていた。髪の毛は1本1本まで見えたが、その回りにはうっすらともやがかかって見えたし、舌もちょっとぼやけていた。けれども全体的に見れば圧巻の出来栄えであり、「こんなことあり得ない」と感じさせるレヴェルだった。

VRの世界が感じさせる不安

こうした体験は素晴らしいものだった。そして同時に、不安を抱かせるものでもあった。コーデック・アヴァターはまだリサーチプロジェクトの段階だが、わたしたちはいま不安定な時代を生きている。

実際には存在しない顔を生成してしまう力をもつ人工知能（AI）や、動画の顔を別人のものとすり変えたディープフェイク、データのプライヴァシー問題、そしてフェイクニュースを使った政治キャンペーンや人を不快にさせるオンラインの言動──。いずれも、まさに現実に存在するインターネットの世界で実際に起きている問題である。

VRやARの世界は、人がコミュニケーションをとり合う主要なプラットフォームになりつつある。ソーシャルメディア企業はこうしたプラットフォームに対する資金の提供者であると同時に、一連の問題の発生源でもあるのだ。そして、問題はよりいっそう差し迫ったものになりつつある。

オンライン上でのハラスメントをひどいと感じているだろうか？ そこにリアルなアヴァターを使った表現方法やパーソナルスペースの問題がVRによって加われば、こうした状況はより深刻化しないだろうか？ これから何が起きるのか、まだほとんど見えていないのだ。

こうした懸念にシェイフは理解を示している。「相手を信頼する感情は、この技術が成功するうえでもユーザーを守るうえでも欠かせません。例えば、電話で母親の声を聞けば、彼女が話している内容とあなたが聞いている内容が同じであることに何の疑いももちませんよね。こうした信頼を、この技術においても最初のうちから築き上げ、守っていかなければならないのです」

VRの新たな次元へ

開発中の頭に装着するキャプチャーシステムに搭載されたセンサーは、その人が本人なのかを証明するうえで重要な役割を担う、とシェイフは言う。眼や声だけでなく、身振りやクセなども生体認証用のデータになるからだ（そう言われれば確かにひとつの不安は軽減されるが、また別の不安が高まる）。

データプライヴァシーとVRを巡る議論はこの数年でかなり活発化しているが、こうした画期的な技術は火に油を注ぐ存在になるかもしれない。VRはこの10年で大きな進化を遂げたが、コーデック・アヴァターのような技術の登場は、VRにおける体験がまったく新たな次元に移行することを意味する。FRLでこの技術を見守り続けてきた研究者たちは、それを理解している。

VRの開発者会議「Oculus Connect」では、オキュラスの主任研究者であるアブラッシュが毎年登壇して、同社の研究所における研究とイノヴェイションの進行状況について講演するのが恒例になっている。歳月を重ねるにつれ、VRの画期的な進歩において彼が強気な姿勢を見せる部分と慎重な姿勢を見せる部分も定着してきたところだ。

関連記事：VRでも、人と人との「つながり」がすべてになる──フェイスブック化するOculusが目指す世界

しかし、これまで慎重さを貫いてきたある点について、18年10月に開かれた会合では強気な発言に転じた。「いかにも本物のような人間のアヴァターを4年以内に開発できると断言することはできません」と、アブラッシュは語った。「しかし、それが『無理』であるとも、もう思わないのです」

アブラッシュのこうした宣言をどう思ったか、シェイフに尋ねてみた。彼はコーヒーをすすりながら笑顔で答えた。「彼の言う通りですよ」

INFORMATION ウェブ特集「MIRROR WORLD」 インターネットがあらゆる情報をデジタル化し、SNSが人々のつながりをデジタル化してきた。来る第三のプラットフォームは、物理的世界すべてをデジタル化する「ミラーワールド」になる──。VRからAR、AI、コンピューティング、ロボティクスから自動運転まで包含する新たな世界のすべてが、いまここに。雑誌『WIRED』日本版VOL.33の特集「MIRROR WORLD」に連動したウェブ特集。