VIDEO BY WIRED US

アップルは数年前、いくつか派手な買い物をした。3Dセンサーで世界屈指の技術を持つPrimeSense、人工知能（AI）を使った画像認識を手掛けるPerceptio、拡張現実（AR）のMetaio、モーションキャプチャー技術のFaceshiftといったスタートアップ企業を相次いで買収したのだ。

技術の強化に向けた買収はアップルにとって珍しいことではないが、当時はこれらの企業のまとめ買いを通じて同社が何を計画しているのかは謎に包まれていた。その答えが見えたのは、2017年9月の新製品発表イヴェントだった。アップルは「iPhone X」をつくっていたのだ。

最新モデルのもっとも重要な機能は、おそらくモーションキャプチャーを使った顔認識システムだろう。顔認証によるロック解除や、ユーザーの表情や顔の動きを絵文字に反映できる「Animoji（アニ文字）」を可能にしている技術である。

アップルによると、iPhone Xはモバイルテクノロジーの未来を示しているというが、これは事実だろう。しかし、コンシューマープロダクツを支える素晴らしい技術の元をたどっていくと、たいていは大学院生ばかりの殺風景な研究所に行き着く。Animojiの場合は10年前、ヨーロッパにある2つの一流研究機関にルーツがある。

かつては高価で複雑な技術だった

2000年代中盤まで、モーションキャプチャーには大掛かりな装置や複雑なデータ処理が必要だった。例えば、細かな仕草をするアヴァターを作成するには、モデルとなる人間が顔と体に特殊な塗料を塗った計測点（マーカー）を付ける。マーカーの動きをカメラなどのセンサーで追跡して位置座標を計算すれば、モデルの動きが再現できるという仕組みだ。Faceshiftの共同創業者でスイス連邦工科大学ローザンヌ校（EPFL）でコンピューターグラフィックス（CG）を研究するマーク・ポーリーは、「マーカーを使うことで対応の計算を単純化できます」と話す。

マーカーによる位置座標の計測はうまく機能するが、スタジオやモーションキャプチャースーツ、モデルなどのコストがかかる。かつてポーリーの研究室に在籍し、現在は南カリフォルニア大学ヴィジョングラフィックスラボの所長を務めるハオ・リーは、「何をつくるにもたくさんのお金と時間が必要でした」と語る。

そこでポーリーとリーは、ティボー・ヴァイゼ、ブライアン・アンベルク、ソフィエン・ブアジズ（現在は全員がアップルで働く）とともに、マーカーやスーツの替わりに深度感知カメラを使って表情の変化を記録するアルゴリズムの研究を始めた。ゴールは人間の表情をリアルタイムで模倣するアヴァターをつくり出すことだ。

ただし、問題があった。アルゴリズムによる顔のトラッキングは非常に難しい。リーによれば、人間の顔は「CGにおいて最も困難な対象のひとつ」なのだ。顔は静止した物体ではなく常に動いており、それをコンピューターでとらえるためのシンプルなルールは存在しない。

機械が目や口の動きを読み取るには、顔の見え方が変化することを理解する必要がある。自動車業界や金融関連で使われている顔追跡ソフトウェアを手掛けるVisage Technologiesの営業担当ディノ・パイクは、「アルゴリズムは光の変化、手前にある物体が背後にある物体を隠して見えなくしてしまうような状態、異なる向きの頭の回転、人種や年齢によって異なる顔つきなど、さまざまな要素に対応していなければなりません」と話す。

3D深度感知カメラと、データ解析技術の進化

そして2000年代の中ごろには、3D深度感知カメラが顔面をマッピングするのに十分な性能をもつようになっていた。問題は、カメラが読み取ったデータをコンピューターに理解させることだ。リーは「顔の上のすべてのポイントを感知できたとしても、そのままではコンピュータにとっては何の意味ももたないデータなのです」と説明する。

リーのチームは、顔を幾何学の問題のように扱うことにした。アルゴリズムにサンプルとなる複数の顔を見せ、いろいろな顔がさまざまな状況でどのように見えるかを包括した“一般的な顔”の3Dモデルを作らせる。この統計的モデルを使うことで、アルゴリズムは顔の表面のマッピングを容易に把握できるようになり、人間の表情をリアルタイムで反映させたアヴァターをつくり出すことが可能になった。

カメラを通じた顔の動きのモーションキャプチャーは、これまでは主にVFX（特殊視覚効果）業界で使われていた。だが近い将来、多くの人がAnimojiやインテルの「ポケットアヴァター」といったサーヴィスで、この技術に触れることになるだろう。

ユーザーの表情を反映する絵文字は始まりに過ぎないとリーは言う。彼は現在、Pinscreenという写真のようなCGを自動生成することを目指すスタートアップにかかわっており、たった1枚の写真からとてもリアルな3Dアヴァターを作成できるようなアルゴリズムの開発に取り組んでいる。

Pinscreenは昨年11月の大統領選のあとで、ドナルド・トランプが踊っているGIFアニメ数本を公開した。レンダリングはそこまで精巧ではなかったが（大統領の顔にはコンピューターで作った画像に特有の粗さがあった）、誰もが生身の人間のように見えるアヴァターをつくって好きなことをやらせたり言わせたりできる未来への一歩が踏み出されたと言って間違いないだろう。

Pinscreenのテクノロジーはまだ開発途上である。だが、一般に普及するようになれば素晴らしいだけでなく、そら恐ろしいような気すらする。

そして技術が進化するにつれ、悪用される可能性も高まっていく。いまはまだ実物とアヴァターを区別するのは容易だが、近い将来、本物と偽物の見分けがつかなくなることだって大いにあり得るのだ。

iPhone Xの顔認証は、トランポリンで跳びながらでも機能するのか──その実力を試してみた

[ アイフォーン／iPhoneに関する記事一覧 ]