深度カメラないの？ まじで？

株式会社ネクストシステムが、スマホのリアカメラだけで全身のモーションキャプチャができる骨格検出システム｢VisionPose Single3D（Single3D）｣のデモを公開しました。どこまで手軽になるの、モーキャプ。

この精度のキャプチャーがスマホ1台でできるとは…。一時期、iPhone XのTrueDepthカメラを使ったトラッキングアプリが流行りましたけど、こちらは深度センサーに依存せず、ディープラーニングによる骨格推定を用いてキャプチャー（しかも全身）しています。なのでiPhone X以外でも使えるし、なんならPCのWEBカメラでも使えちゃうという。

もともとVisionPoseシリーズは、ネクストシステムが提供しているWEBカメラとディープラーニングを用いた骨格座標の検出システム。Single3Dはそのシリーズの1つという位置付けです。iOS版はSwift向けのライブラリとして、PC版はC#/C++向けのライブラリとして、SDKが2019年6月より販売予定。

スポーツの動作解析や監視カメラの不審者検知などにも有用ですが、VTuber目線で見るとLive2Dでバストアップを動かしていた頃とは隔世の感だなぁと。HTC Viveなんかは肘や腰にトラッカーを装着して関節を認識してましたし。単眼カメラでの全身トラッキングは、ディープラーニングと相性が良いのかもしれませんね。

そのうちモーションキャプチャもマーカー無しでできたりするんでしょうか。バ美肉の参入ハードルどこまで低くなりゆくの…！