複数人ビデオモーションキャプチャ

取組み概要

ドコモは、国立大学法人東京大学 大学院情報理工学系研究科 中村仁彦研究室（以下、東京大学・中村研究室）と2020年1月、東京大学・中村研究室の開発したカメラ映像だけからモーションキャプチャを行う技術「VMocap（ブイモーキャプ）^※1」を応用することで、特殊な装置やスーツを用いずに、広い空間における複数人のモーションキャプチャを行う技術（以下、本技術）を開発しました。

本技術は解析に用いるべき最適な映像を、複数のカメラから自動的に選択して切り替えることで、広い空間における複数人のモーションキャプチャを行います。また、人同士の身体が映像上で重なって見える状況下でも、人の骨格構造と運動の連続性、そして最新の画像認識技術を活用することによって頑強に運動を推定することができ、フットサルのように複数の選手が激しく動き回るようなシーンでも、高精度で滑らかなモーションデータや骨の動きが取得できることを実証しました。

また本技術に加え、東京大学・中村研究室がもつロボティクスに基づいた動作解析技術^※2を用いることで、骨の運動だけでなく身体に働く力や筋の活動まで計算し、可視化できることを確認しました。これによって複数台のカメラ映像だけから、運動の計測・解析までが一貫して行えるようになりました。

今後は本技術を、サッカー・野球・体操・フィギュアスケートなどのスポーツに適用し、トレーニングや戦術解析、障がい予防、運動のアーカイブ化などに役立ててまいります。また、エンターテインメント領域における3Dアニメーション作成、介護・リハビリ現場での運動評価などにも活用していく予定です。

• ※1深層学習によってカメラ映像における人の身体部位を推定する技術を、複数台のカメラから用いることで、3次元空間における身体部位の位置を推測し、その位置に対して骨格構造と運動の連続性に基づくフィルタ処理を施すことで、カメラ映像のみから高精度で滑らかなモーションキャプチャを行う技術のこと。
• ※2身体部位の加速度をもとに算出される力や、地面やボールなど身体の接触箇所に加わる反力を元に、その力を発揮するために必要な筋の活動を算出する技術のこと。

関連報道発表

複数人ビデオモーションキャプチャ技術を開発