AI表情認識は、売り上げに最も効果的な商品陳列さえも導き出す

表情認識AIが結構できること――顔の動きの計測

こんにちは。微表情研究者の清水建二です。 近年、私たちの表情を分析し、感情を推定するAIの開発及び実用化が加速の一途を辿っています。本日は、表情分析の人間側の一専門家として、これからの表情認識AIの可能性について考えたいと思います。 オーソドックスな表情分析の手順に沿って、人間の分析者がしていることとAIが出来ること・出来ないことのプロセスを簡略化して紹介及び考察します。 表情分析の手順は、顔の動きの記述、顔の動きの意味付け、解釈という3段階があります。本稿では、消費者の表情と購買との関係性を明らかにすることを目的とした調査を仮定して説明します。様々な消費者がA商品とB商品の二つを見て、どちらかを購入していきます。各商品を見ているときの消費者の顔の動きを表情分析の有資格者を持つ分析者が観察します。 例えば、A商品を見ているときの一人目の消費者の顔の動きは「上まぶたが引き上げられている」、B商品のときは「眉が中央に引き寄せられる」＋「唇が上下からプレスされる」、A商品を見ているときの二人目の消費者の顔の動きは…と言った要領で、消費者の全ての顔の動きを記録していきます。必要に応じてそれぞれの顔の動きの強さや顔に現れている時間も記録します。次にそれぞれの顔の動きについて感情などの意味付けをします。この意味付けのプロセスは、主にこれまでの科学実験から明らかになっている知見を利用します。 例えば、「眉が中央に引き寄せられる」「唇が上下からプレスされる」動きは怒りあるいは熟考、「上まぶたが引き上げられる」は驚き、です。 この（1）（2）の作業を人間の分析者が行うと分析の難易度によりますが、1分の表情動画に100分ほど時間がかかります。膨大な時間を消費する作業なのです。 しかし、これらの作業を表情認識AIはリアルタイムでやってのけてしまいます。様々なメーカーが販売している表情認識AIのカテゴライズ可能な感情数は、おおむね幸福・軽蔑・嫌悪・怒り・悲しみ・驚き・恐怖の7種類です（中立を含めれば8種類あります）。 ただ、まだ感情数に限りがあり、複合的な意味を持つ顔の動きを7つの感情に自動変換してしまうため、顔の動きの意味付けを誤解してしまうことがあります。例えば、「唇が上下からプレスされる」動きは怒りあるいは熟考の可能性がありますが、AIの出力結果だけを見ると、この動きが怒りとカテゴライズされてしまうことがあります。 したがって現状においては、（1）（2）の作業を表情認識AIに任せつつも、AIの識別範囲を超える7表情以外の感情に関わる顔の動き（例えば、罪悪感・誇り・畏れ・欲望・恥など）や複合的な意味を持つ顔の動き（熟考・顔で行われる各種ジェスチャーなど）の意味付けには専門家の分析及びチェックが必要です。