English
Hand-based Activity Recognition Project




プロジェクト概要
手首に腕輪型センサデバイスを付けるだけで、人が“何をしているか“を推定することを目指した研究です。
カメラ、マイク、加速度センサなどのセンサ搭載する手首装着型センサデバイスを用いて人の日常行動を認識する手法および、 そのデバイスの設計を行いました。
センサデバイスは、ユーザの手のひらの周辺の領域を撮影するように設置されたカメラを備えることを特徴とします。 これにより、「コーヒーを作る」、「水やりをする」などのモノを用いた行動の認識が可能となります。
既存のウェアラブルセンサを用いた行動認識の研究の多くは，加速度センサやマイクのみしか用いていなかったため、 このような行動の認識は困難でした。

提案デバイス
「手首に腕輪型センサデバイスを付けるだけで，人が“何をしているか“を推定する技術を開発」

想定する理想的なデバイス プロトタイプデバイス
行動認識手法
手首に装着したさまざまなセンサで行動の特徴を捉えます。
  • 加速度センサ：手の動き
  • カメラ：手で使うモノの色味
  • マイク：行動の時に起こる音，・・・
これらを組み合わせて行動を学習・認識します。

ココアを作っているときに得られたセンサデータの例
紹介映像
関連文献
  1. T. Maekawa, Y. Yanagisawa, Y. Kishino, K. Ishiguro, K. Kamei, Y. Sakurai, and T. Okadome: Object-based Activity Recognition with Heterogeneous Sensors on Wrist, Proc. of International Conference on Pervasive Computing (Pervasive 2010), pp. 246-264 (May 2010).
  2. T. Maekawa, Y. Yanagisawa, Y. Kishino, K. Kamei, Y. Sakurai, and T. Okadome: Wristband Type Sensor Device for Recognizing Activities that Involve Object Use, Proc. European Conference on Ambient Intelligence (AmI 2009), Poster paper, (Nov. 2009).
前川卓也
NTT コミュニケーション科学基礎研究所
HOME