ディープセンシング。ディープコンボリューションニューラルネットワークを用いた活動文脈認識のための慣性センサと環境センサの組み合わせ

Deep Sensing: Inertial and Ambient Sensing for Activity Context Recognition Using Deep Convolutional Neural Networks.

• Abayomi Otebolaku
• Timibloudi Enamamu
• Ali Alfoudi
• Augustine Ikpehai
• Jims Marchang
• Gyu Myoung Lee

抄録

モバイル機器の組み込みセンシング機能の普及に伴い、文脈を考慮したソリューションの前例のない開発が行われています。これにより、遠隔での健康やライフスタイルのモニタリング、インテリジェントなパーソナライズされたサービスなど、様々なインテリジェントアプリケーションの拡散が可能となっている。しかしながら、制約のない条件でモバイルデバイスから得られる多変量時系列信号に基づく活動コンテキスト認識は、当然ながら不均衡クラス問題が発生しやすい。これは、認識モデルが多数のサンプル数を持つクラスを予測する一方で、少数のサンプル数を持つクラスを無視する傾向があり、結果として一般化が不十分になることを意味します。この問題を解決するために、我々は慣性センサからの時系列信号をアンビエントセンシングからの信号で補強し、ディープコンボリューションニューラルネットワーク（DCNN）モデルを訓練することを提案しています。DCNNは、これらを組み合わせたセンサ信号の局所依存性とスケール不変性を捉える特性を提供する。その結果，慣性センサ信号のみを用いたDCNNモデルを開発し，認識モデルの性能向上によるクラス不均衡問題の検討を目的として，慣性センサと周囲センサの信号を組み合わせたモデルを開発した．提案システムでは，クラスが不均衡なデータを用いて評価・解析を行った結果，慣性センサからのデータと環境騒音レベルや照明などの環境センサからのデータを組み合わせることで，認識精度が向上し，全体で5.3%の精度向上を達成した．

With the widespread use of embedded sensing capabilities of mobile devices, there has been unprecedented development of context-aware solutions. This allows the proliferation of various intelligent applications, such as those for remote health and lifestyle monitoring, intelligent personalized services, etc. However, activity context recognition based on multivariate time series signals obtained from mobile devices in unconstrained conditions is naturally prone to imbalance class problems. This means that recognition models tend to predict classes with the majority number of samples whilst ignoring classes with the least number of samples, resulting in poor generalization. To address this problem, we propose augmentation of the time series signals from inertial sensors with signals from ambient sensing to train Deep Convolutional Neural Network (DCNNs) models. DCNNs provide the characteristics that capture local dependency and scale invariance of these combined sensor signals. Consequently, we developed a DCNN model using only inertial sensor signals and then developed another model that combined signals from both inertial and ambient sensors aiming to investigate the class imbalance problem by improving the performance of the recognition model. Evaluation and analysis of the proposed system using data with imbalanced classes show that the system achieved better recognition accuracy when data from inertial sensors are combined with those from ambient sensors, such as environmental noise level and illumination, with an overall improvement of 5.3% accuracy.