TASA：脳波を用いた匂い誘発情動分類のための空間オートエンコーダー・ネットワークによる時間的注意

TASA: Temporal Attention With Spatial Autoencoder Network for Odor-Induced Emotion Classification Using EEG.

抄録

嗅覚系は、人間がさまざまな匂いを嗅ぎ分けることを可能にしており、それらは感情と密接に関連している。脳波（EEG）の高い時間分解能と非侵襲性は、匂いに対する人間の嗜好を客観的に研究するのに適している。EEGから時間的ダイナミクスと空間情報を効果的に学習することは、匂いによる感情価を検出するために極めて重要である。本論文では、脳波を用いて匂いによる情動を予測するために、Temporal Attention with Spatial Autoencoder Network（TASA）と呼ばれる深層学習アーキテクチャを提案する。TASAは、フィルタバンク層、空間エンコーダ、時間分割層、長期短期記憶（LSTM）モジュール、多頭自己注意（MSA）層、および完全接続層から構成される。与えられた入力を空間次元の潜在表現で再構成することにより、電極間の空間情報を学習するオートエンコーダーモジュールを利用する。第二の改良点は、嗅覚過程の連続的な性質に着想を得たものである。脳波の時間セグメント間の相互相関を学習することにより、その時間的ダイナミクスを捉えるために、TASAにLSTM-MSAを用いることを提案する。TASAを既存の嗅覚脳波データセットで評価し、既存のいくつかのディープラーニングアーキテクチャと比較することで、嗅覚がトリガーとなる情動反応の予測における有効性を実証する。DeepLIFTを用いた解釈可能性分析でも、TASAが嗅覚誘発感情認識に関連する空間スペクトル特徴を学習することが示唆されている。

The olfactory system enables humans to smell different odors, which are closely related to emotions. The high temporal resolution and non-invasiveness of Electroencephalogram (EEG) make it suitable to objectively study human preferences for odors. Effectively learning the temporal dynamics and spatial information from EEG is crucial for detecting odor-induced emotional valence. In this paper, we propose a deep learning architecture called Temporal Attention with Spatial Autoencoder Network (TASA) for predicting odor-induced emotions using EEG. TASA consists of a filter-bank layer, a spatial encoder, a time segmentation layer, a Long Short-Term Memory (LSTM) module, a multi-head self-attention (MSA) layer, and a fully connected layer. We improve upon the previous work by utilizing a two-phase learning framework, using the autoencoder module to learn the spatial information among electrodes by reconstructing the given input with a latent representation in the spatial dimension, which aims to minimize information loss compared to spatial filtering with CNN. The second improvement is inspired by the continuous nature of the olfactory process; we propose to use LSTM-MSA in TASA to capture its temporal dynamics by learning the intercorrelation among the time segments of the EEG. TASA is evaluated on an existing olfactory EEG dataset and compared with several existing deep learning architectures to demonstrate its effectiveness in predicting olfactory-triggered emotional responses. Interpretability analyses with DeepLIFT also suggest that TASA learns spatial-spectral features that are relevant to olfactory-induced emotion recognition.