空間の生物学的表現のための強化学習からの教訓

Lessons from reinforcement learning for biological representations of space.

• Alex Muryy
• N Siddharth
• Nantas Nardelli
• Andrew Glennerster
• Philip H S Torr

抄録

神経科学者は、脳内の3次元表現を様々な異なる座標フレーム（例：「頭中心」、「手中心」、「ワールドベース」）で表現すると仮定している。最近の強化学習の進歩は、空間知覚とナビゲーションの基礎となる生物学的表現のより有望なモデルを提供する可能性のある、全く異なるアプローチを示している。この論文では、3Dの「地図」を構築しようとすることなく目標画像に到達したエージェントに報酬を与える強化学習手法に焦点を当てている。我々は、特徴ベクトルのデコードを用いて学習した位置間の補間など、幾何学的に一貫した空間タスクをサポートするために、このタイプの表現の能力をテストしている。我々は、設計上、高度な幾何学的一貫性を持つ手作りの表現を紹介し、この場合、カメラが移動する際の特徴の持続性に関する情報（例えば、遠くの特徴が持続する）が幾何学的タスクのパフォーマンスを向上させることを実証する。これらの例では、空間のデカルト（この場合は２次元）表現を避けている。直交的でない学習された表現は、神経科学において、「認知地図」に代わるものを探すための重要な刺激となる。

Neuroscientists postulate 3D representations in the brain in a variety of different coordinate frames (e.g. 'head-centred', 'hand-centred' and 'world-based'). Recent advances in reinforcement learning demonstrate a quite different approach that may provide a more promising model for biological representations underlying spatial perception and navigation. In this paper, we focus on reinforcement learning methods that reward an agent for arriving at a target image without any attempt to build up a 3D 'map'. We test the ability of this type of representation to support geometrically consistent spatial tasks such as interpolating between learned locations using decoding of feature vectors. We introduce a hand-crafted representation that has, by design, a high degree of geometric consistency and demonstrate that, in this case, information about the persistence of features as the camera translates (e.g. distant features persist) can improve performance on the geometric tasks. These examples avoid Cartesian (in this case, 2D) representations of space. Non-Cartesian, learned representations provide an important stimulus in neuroscience to the search for alternatives to a 'cognitive map'.

Copyright © 2020 Elsevier Ltd. All rights reserved.