機械学習を用いたマルチモーダルデータからの覚醒検知により、バイオフィードバック主導の自己誘導型バーチャルリアリティ暴露療法を強化する

Enhancing biofeedback-driven self-guided virtual reality exposure therapy through arousal detection from multimodal data using machine learning.

抄録

バーチャルリアリティ暴露療法（VRET）は、個人が安全な環境で不安を誘発する刺激を体験し、特定の誘因を認識し、知覚された脅威への暴露を徐々に増加させることを可能にする新しい介入技法である。人前で話す不安（PSA）は社会不安の一種で、聴衆の前で発表するときに生じるストレス性の興奮や不安によって特徴づけられる。自己誘導型VRETでは、参加者は曝露に対する耐性を徐々に高め、不安誘発性の覚醒とPSAを時間とともに軽減することができる。しかし、このようなVR環境を作成し、不安誘発性覚醒や苦痛の生理学的指標を決定することは、未解決の課題である。環境のモデリング、キャラクターの作成とアニメーション、心理状態の決定、不安やストレス検出のための機械学習（ML）モデルの使用も同様に重要であり、複数の分野の専門知識が必要とされる。この研究では、覚醒状態を予測するために、公開されているデータセット（脳波と心拍変動を使用）を用いて一連のMLモデルを検討した。不安によって誘発される覚醒を検出できれば、個人が苦痛に対処し克服できるように、心を落ち着かせる活動を引き起こすことができる。ここでは、覚醒検知におけるMLモデルとパラメータの効果的な選択手段について議論する。我々は、バーチャルリアリティ暴露療法の文脈で、異なるパラメータ設定によるモデル選択問題を克服するパイプラインを提案する。このパイプラインは、覚醒検知が重要である他の関心領域にも拡張可能である。最後に、VRETのためのバイオフィードバックフレームワークを実装し、不安を克服するための心理的介入のために、取得したマルチモーダルデータから心拍数と脳のラテラリティ指標という形でフィードバックを提供することに成功した。

Virtual reality exposure therapy (VRET) is a novel intervention technique that allows individuals to experience anxiety-evoking stimuli in a safe environment, recognise specific triggers and gradually increase their exposure to perceived threats. Public-speaking anxiety (PSA) is a prevalent form of social anxiety, characterised by stressful arousal and anxiety generated when presenting to an audience. In self-guided VRET, participants can gradually increase their tolerance to exposure and reduce anxiety-induced arousal and PSA over time. However, creating such a VR environment and determining physiological indices of anxiety-induced arousal or distress is an open challenge. Environment modelling, character creation and animation, psychological state determination and the use of machine learning (ML) models for anxiety or stress detection are equally important, and multi-disciplinary expertise is required. In this work, we have explored a series of ML models with publicly available data sets (using electroencephalogram and heart rate variability) to predict arousal states. If we can detect anxiety-induced arousal, we can trigger calming activities to allow individuals to cope with and overcome distress. Here, we discuss the means of effective selection of ML models and parameters in arousal detection. We propose a pipeline to overcome the model selection problem with different parameter settings in the context of virtual reality exposure therapy. This pipeline can be extended to other domains of interest where arousal detection is crucial. Finally, we have implemented a biofeedback framework for VRET where we successfully provided feedback as a form of heart rate and brain laterality index from our acquired multimodal data for psychological intervention to overcome anxiety.