これがもし実装されたら、二度と｢ARモード｣はオフにしないと誓います。

見慣れたポケモンGOの風景...と思いきや、キャタピーの動きに合わせて背景が動いているこちらの動画。キャタピーが動くたびに葉の揺れる音が聞こえてきそうです。

動画を制作したのはMITのComputer Science and Artificial Intelligence Laboratory (CSAIL)で研究を行なうAbe Davisさん。彼の率いるチームが開発した｢Interactive Dynamic Video｣は、ポケモンGOのようなARゲームを今よりさらにリアルかつインタラクティブに進化させてくれる技術です。

発表された研究では草の茂みや鉢金人形、遊具などの物体に振動を与えた様子をカメラで撮影し、目にみえないレベルの細かい振動による物体の反応や動きを抽出。さらに外部からのインプットに応じて物体がどう動くのかをシミュレートし、バーチャル上で自由自在に動かせるインタラクティブな映像を作り出しています。

今回の研究はポケモンGOだけではなくCGによる映像制作など、さまざまな分野に応用できると期待されています。現実世界の物体を映した動画からバーチャル世界を構築することができれば、これまでよりもっと手軽かつ低予算でCG映像を制作できるようになります。さらに、こうした機能が搭載されることで、Google GlassのようなARデバイスがぐっと魅力的になる可能性もあるかもしれません。

ちなみに研究の筆頭著者であるAbe Davis氏は2015年にTEDに登壇、｢物の隠れた性質を解き明かす新しい映像技術｣と銘打たれたトークを披露しています。

今回の研究にも触れつつ、ポテチの袋に向かって熱唱しその袋の振動から何を歌っているのか認識できる程度に音声を復元した研究なども紹介しているので、ポケモンGOの合間にぜひ一度。

source: MIT News, YouTube

Andrew Liszewski - Gizmodo US [原文]

（Haruka Mukai）