シナプス可塑性ダイナミクスの深層連続局所学習（DECOLLE）

Synaptic Plasticity Dynamics for Deep Continuous Local Learning (DECOLLE).

• Jacques Kaiser
• Hesham Mostafa
• Emre Neftci

抄録

生物学的ニューラルネットワークとリカレント・バイナリーニューラルネットワークとの間の顕著な類似性を強調する研究が増えてきています。しかし、比較的少数の研究では、ディープ人工ニューラルネットワークで採用されている学習ダイナミクスとスパイクニューラルネットワークで採用されているシナプス可塑性との間の類似性を取り上げています。これを防ぐための課題は、シナプス可塑性の力学的特性と勾配バックプロパゲーションの要件との間の不一致に大きく起因しています。局所誤差関数を用いて勾配バックプロパゲーションを近似する学習アルゴリズムは、この課題を克服することができる。ここでは、局所誤差関数を備えたスパイク型ニューラルネットワークDeep Continuous Local Learning (DECOLLE)を紹介する。DECOLLEは、局所情報のみに依存してスパイクから深い時空間表現を学習することが可能であり、神経生物学やニューロモーフィックハードウェアとの互換性がある。シナプス可塑性のルールは、既存の機械学習フレームワークの自己微分法を利用して、ユーザーが定義したコスト関数と神経ダイナミクスから系統的に導き出される。我々は、イベントベースのニューロモーフィックデータセットN-MNISTとDvsGestureを用いて、DECOLLEの性能をベンチマークした。DECOLLEネットワークは、生物学に関連した継続的な学習機械を提供し、イベントベースの低消費電力のコンピュータビジョンアーキテクチャをサポートし、時間的な精度と速度が必要とされるタスクにおいて、従来のコンピュータの精度に匹敵する精度を提供する。

A growing body of work underlines striking similarities between biological neural networks and recurrent, binary neural networks. A relatively smaller body of work, however, addresses the similarities between learning dynamics employed in deep artificial neural networks and synaptic plasticity in spiking neural networks. The challenge preventing this is largely caused by the discrepancy between the dynamical properties of synaptic plasticity and the requirements for gradient backpropagation. Learning algorithms that approximate gradient backpropagation using local error functions can overcome this challenge. Here, we introduce Deep Continuous Local Learning (DECOLLE), a spiking neural network equipped with local error functions for online learning with no memory overhead for computing gradients. DECOLLE is capable of learning deep spatio temporal representations from spikes relying solely on local information, making it compatible with neurobiology and neuromorphic hardware. Synaptic plasticity rules are derived systematically from user-defined cost functions and neural dynamics by leveraging existing autodifferentiation methods of machine learning frameworks. We benchmark our approach on the event-based neuromorphic dataset N-MNIST and DvsGesture, on which DECOLLE performs comparably to the state-of-the-art. DECOLLE networks provide continuously learning machines that are relevant to biology and supportive of event-based, low-power computer vision architectures matching the accuracies of conventional computers on tasks where temporal precision and speed are essential.

Copyright © 2020 Kaiser, Mostafa and Neftci.