A Spiking Neural Network Based Autonomous Reinforcement Learning Model and Its Application in Decision Making

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

International Conference on Brain Inspired Cognitive Systems, 2016

 

Abstract

　　在本文中，我们提出了一种用于决策的自主脉冲神经网络模型。该模型是具有自动环境感知功能的基底神经节电路的扩展，它根据图像输入自动构建环境状态。本文的工作有以下贡献：(1) 在我们的模型中，开发了简化的Hodgkin-Huxley计算模型以实现接近LIF模型的计算效率，用于获取和测试认识。(2) 提出了一种基于脉冲的运动感知机制，无需大量训练即可从原始像素中提取学习过程的关键元素。我们将我们的模型应用到了“appybird”游戏中，经过几十次训练，它运行良好。该模型在训练开始时获得与人类相似的学习性能。此外，我们的模型模拟了在Hodgkin-Huxley模型中阻断某些钠或钾离子通道时的认知缺陷，这是对离子水平认知的探索。

 

Keywords: Spiking neural network, Hodgkin-Huxley, Basal Ganglia, motion perception

 

1 Introduction

 

2 Previous Work

2.1 The Basal Ganglia Model

 

2.2 A Spike Coding Model of the Basal Ganglia

 

2.3 The Hodgkin-Huxley Model

 

3 Methods

 

3.1 The Simplified Computing Hodgkin-Huxley Model

 

3.2 Spike Based Motion Perception

 

3.3 Spiking Neural Network Based Autonomous Reinforcement Learning Model

 

4 Experiments and Applications

 

4.1 The simplified Hodgkin-Huxley Model

 

4.2 Autonomous Reinforcement Learning Model in the Game

 

A. The Motion Perception

 

B. Playing the Game

 

C. Ionic Property Test of the H-H Model

 

5 Conclusion