NAPSフュージョン：人間のパフォーマンスと認知タスクの結果を予測するための実験データの限界を克服するフレームワーク

NAPS Fusion: A framework to overcome experimental data limitations to predict human performance and cognitive task outcomes.

抄録

人間のパフォーマンスや認知研究の分野では、機械学習（ML）の問題は、実験デザインの限界のためにますます複雑になり、その結果、予測モデルが貧弱になる。より具体的には、実験的研究デザインは、非常に少数のデータインスタンスを生成し、大きなクラス不均衡と相反するグランドトゥルースラベルを有し、多様なセンサーの量に起因する広いデータセットを生成する。MLの観点からは、これらの問題は、クラスの不均衡が発生し、ほとんど常にサンプルよりも多くの特徴が存在する異常検出のケースでは、さらに悪化する。一般的に、幅広いデータセットからこれらの問題を処理するために、次元削減手法（例えば、PCA、オートエンコーダ）が利用される。しかし、これらの次元削減手法は必ずしも低次元空間に適切にマッピングされるとは限らず、ノイズや無関係な情報を捕捉してしまう。加えて、新しいセンサーのモダリティが取り込まれると、新しい情報によってもたらされる新しい依存関係のために、MLパラダイム全体を作り直さなければならない。このようなMLパラダイムの改造は、パラダイムデザインにモジュール性がないため、時間とコストがかかり、理想的とは言えません。さらに、人間のパフォーマンス研究実験では、グランドトゥルースデータが専門家のアノテーションによって合意されないため、曖昧なクラスラベルが作成されることがあり、MLパラダイムをモデル化することはほぼ不可能である。本研究では、Dempster-Shafer理論(DST)、MLモデルの積み重ね、およびバギング(bagging)から、曖昧なグランドトゥルース、少ないサンプル、被験者間のばらつき、クラスの不均衡、および広いデータセットによって引き起こされる、多クラス分類ML問題の不確実性と無知に対処するための洞察を引き出す。これらの洞察に基づき、我々は、将来のセンサー（新機能の統合）と相反するグランドトゥルースデータのためのモジュール設計を維持しながら、これらの実験データの懸念を克服するために、バギングアルゴリズムを中心に構築されたMLパラダイムを組み合わせた確率的モデル融合アプローチ、ナイーブ適応型確率的センサー（NAPS）を提案する。我々は、NAPSを用いることで、他の方法論（精度64.91%）と比較して、認知状態の障害によって引き起こされる人間のタスクエラー（4クラス問題）を検出する際の全体的な性能の大幅な向上（精度95.29%）と、曖昧なグランドトゥルースラベルの場合の性能の無視できる低下（精度93.93%）を実証する。この研究は、人間の状態予測モデリングに依存する、他の人間中心のモデリングシステムの基礎を確立する可能性がある。

In the area of human performance and cognitive research, machine learning (ML) problems become increasingly complex due to limitations in the experimental design, resulting in the development of poor predictive models. More specifically, experimental study designs produce very few data instances, have large class imbalances and conflicting ground truth labels, and generate wide data sets due to the diverse amount of sensors. From an ML perspective these problems are further exacerbated in anomaly detection cases where class imbalances occur and there are almost always more features than samples. Typically, dimensionality reduction methods (e.g., PCA, autoencoders) are utilized to handle these issues from wide data sets. However, these dimensionality reduction methods do not always map to a lower dimensional space appropriately, and they capture noise or irrelevant information. In addition, when new sensor modalities are incorporated, the entire ML paradigm has to be remodeled because of new dependencies introduced by the new information. Remodeling these ML paradigms is time-consuming and costly due to lack of modularity in the paradigm design, which is not ideal. Furthermore, human performance research experiments, at times, creates ambiguous class labels because the ground truth data cannot be agreed upon by subject-matter experts annotations, making ML paradigm nearly impossible to model. This work pulls insights from Dempster-Shafer theory (DST), stacking of ML models, and bagging to address uncertainty and ignorance for multi-classification ML problems caused by ambiguous ground truth, low samples, subject-to-subject variability, class imbalances, and wide data sets. Based on these insights, we propose a probabilistic model fusion approach, Naive Adaptive Probabilistic Sensor (NAPS), which combines ML paradigms built around bagging algorithms to overcome these experimental data concerns while maintaining a modular design for future sensor (new feature integration) and conflicting ground truth data. We demonstrate significant overall performance improvements using NAPS (an accuracy of 95.29%) in detecting human task errors (a four class problem) caused by impaired cognitive states and a negligible drop in performance with the case of ambiguous ground truth labels (an accuracy of 93.93%), when compared to other methodologies (an accuracy of 64.91%). This work potentially sets the foundation for other human-centric modeling systems that rely on human state prediction modeling.