そのベンチに腰を下ろすと、向かい側に鏡のようなものがあるのに気づく。そこに写っている自分を見てはねた髪を直そうとしていたら、小さな象が目の前をのんびり横切って歩いてくる。そして隣にやってきてドスンと座り、金色に輝く丸い球を差し出した──。

これは決して夢ではないし、ましてや幻覚を見ているわけでもない。ディズニーで研究開発を担う部門、ディズニー・リサーチのつくった「マジックベンチ」に座っているだけだ。この新しいプロジェクトは、複合現実（MR）の限界とされる要素のひとつを克服するものとして注目されている。

MRとは、仮想現実（VR）と拡張現実（AR）を組み合わせた技術である。CGなどでつくった世界や空間を擬似的に体験するのがVR。それを現実世界に反映・拡張するのがARだ。そして現実に反映させた仮想世界を、リアルタイムで違和感なく体験できる技術をMRと呼ぶ。

マジックベンチでは、不格好なヘッドセットのことなど忘れてしまって構わない。頭では理解しがたい素晴らしい経験をしたいなら、ただ座るだけでいいのだ。

デヴァイスいらずのMR体験

MRやARは、ハードウェアの存在なくして語れない。マイクロソフトはMR用のヘッドマウントディスプレイ「Microsoft HoloLens（ホロレンズ）」を開発し、世界的に支持されている。ただし視野角が狭く、ヘッドマウントディスプレイが邪魔になるのが難点だ。アップルが2017年6月に発表したiOS向けのARアプリ開発キット「AR Kit」は、「ポケモンGO」のような世界をiPhoneだけで滑らかに表示できるようにする。

このようにARはデヴァイスに依存する技術だったため、ひとりでしか体験できなかった。仮に「共有体験」をうたい、物理的に同じ空間にいる全員が同じ仮想現実を目にするときでさえ、使うデヴァイスはそれぞれ別のものだ。

MRを楽しむために必要なものが、高価な装置や小さな画面ではなく、座る場所とスクリーン、そしてちょっとだけ奇抜なアイデアだったとしたらどうだろう？ マジックベンチでは、そんな答えを実際に確かめることができる。ディズニー・リサーチでデジタル・アーティストのトップを務めるモシェ・マーラーは、「技術（とユーザーの間）をできるだけシームレスにしたいと考えています。ユーザーにはハードウェアを使わせたくないのです」と話す。

マジックベンチの利用者はゾウやカエルと会話を交わし、部屋の中にいながらにして雨を見たり、聞いたり、感じたりできるようになる。これまでの技術と決定的に違うのは、一緒にベンチに座った人は全員、同時に同じ仮想現実を見て、体験できるということだ。

これは必ずしも初めてのリアル体験型MRではない。しかし、そのクリエイティヴィティとテクノロジーは、これまでのMR技術を凌駕している。気難しい、しゃべるカエルを含め、マジックベンチのようなAR体験は未だかつてないはずだ。そして、ほとんどのマジックショーがそうであるように、本当の楽しみはカーテンの後ろをのぞくときに始まる。

Kinectの技術を応用し、奥行き感を再現

ベンチには振動を生み出すアクチュエーターが内蔵されており、隣に座ったゾウがいびきをかくと、響くような感覚が伝わってくる。だが、秘密のすべてがベンチに隠されているわけではない。その大半はカメラに隠されている。

マジックベンチのシステムには、深度センサーとRGBカラーセンサーが使われている。マイクロソフトが家庭用ゲーム機「Xbox」のアクセサリーとして開発した、ジェスチャーや音声で操作ができるデヴァイス「Kinect（キネクト）」に搭載されているのと同じものだ。これらの部品によって、それぞれのシーンを3Dアニメーションのように上映できるようになった。

とはいえ、単にベンチに向けてKinectをセットすればいい、というものでもない。深度センサーは3D空間の再現に相当に苦労している。その理由は明快だ。「通常のカメラと同じように、見えないものを記録することはできません。例えば机の前に立つと、視界がさえぎられるので、机の上に何があるのかわからないのです」とマーラーは言う。

問題を複雑にするのが、RGBカメラと深度センサーが、それぞれ微妙に違った角度を向いていることである。これによって「デプスシャドウ」と呼ばれる影が発生したり、3D効果が出ない部分が生まれたりする。これでは「マジック」とは言えなくなってしまう。そこでディズニー・リサーチの開発チームは、再構成された3Dシーンを2Dへと変換する方法を見つけ出し、背景の切れ目や空白を埋めるように工夫した。

こうして、ベンチの向かいのスクリーンに現れる立体的なキャラクターと遊んだりできるなど、想像力の限り楽しめるアニメーション体験が生まれた。マーラーは「このプラットフォームは一般的なゲームエンジンと同じものです。そこでプログラムできるものなら、マジックベンチでも使えます」と話す。

決まった場所で撮る「記念写真」のような感覚

もちろん、マジックベンチで楽しめ体験には限界がある。だが、「ベンチによって、わたしたちは空間を“支配”できるのです」と、マーラーは言う。「誰もがCGのキャラクターに触れたがります。実在しないので直接“感じる”ことはできませんが、そうしたいと思う期待を刺激することはできます」。例えば、隣に座っているアニメのカエルに触れようとすると、さっと逃げられてしまうかもしれない。

このように空間が限定され、かつ第三者視点であることによって、マジックベンチは仮想的な体験の共有を実現している。これは一般的なMRやARの概念から、誰もが想像するものとは異なるだろう。

南カリフォルニア大学のクリエイティヴテクノロジー研究所（ICT）でMR研究スタジオのディレクターを務めるトッド・リッチモンドは、「観光客が写真を撮影するときの違いをイメージしてみてください」と話す。ヘッドマウントディスプレイやスマートフォンを用いたARは、セルフィー（自撮り）に近い。カメラのアングルや被写体との距離を選べるからだ。一方、マジックベンチは「指定された場所で撮った記念写真を切り抜き加工するようなものです」とリッチモンドは説明する。

マジックベンチには弱点もある。ICTでヴァーチャルストーリーの制作を専門とするデイヴィッド・ネルソンは、このように指摘する。「ユーザーは目の前のスクリーンやプロジェクターを通してARコンテンツを体験するので、世界から一歩引いた場所に身を置くことになります。こうした体験は、ユーザーを『拡張された世界』へと送り込みますが、自分がいる世界を拡張するわけではありません」

それでも、ディズニーのような企業のつくり出す世界は、かなり特別な「ARワールド」になると想像できるだろう。実写とCGの融合を実現するマジックベンチが、その無限の可能性を秘めたキャンヴァスを使ってできることを想像してほしい。ディズニーは、この技術をテーマパークに導入する計画を発表していないが、もちろん考えているだろう。

真のAR体験を気軽に実現できるようになるには、将来的には低価格メガネブランドが発売するであろうARグラスを手に入れたり、Facebookが開発した“角膜”を埋め込んだりしなければならないかもしれない。だが、マジックベンチのような体験は、それまでの「とりあえずの手軽なAR体験」として歓迎できる。結局のところ、現実世界と仮想的なものを融合するときに、そこから自分の体を切り離すべきではないのだ。