讲座整理_李国齐老师

类脑脉冲神经网络模型算法

（讲座整理）

研究背景

类脑计算研究背景：计算机科学与生物学的桥梁，ai系统忽略了生物突触的动态复杂性

脑科学与类脑计算结合 计算神经科学与认知科学

受人脑信息处理方式启发，基于神经元的结构和功能、以更通用的人工智能和高效智能边缘端/云端为目标构建信息系统的技术总称。

类脑计算发展的要素：类脑计算理论、类脑数据、类脑软件、类脑芯片

类脑计算分为经典类脑计算与广义类脑计算：经典类脑计算有神经形态计算、脉冲神经网络、神经形态芯片；广义类脑计算有存算一体芯片、忆阻器芯片。

脉冲神经网络模型

弥补神经科学与人工智能之间的鸿沟

脉冲神经网络：兼具生物合理性和高效性。

计算有效OR生物合理

等式：SNN=ANN+Neural Dynamics

核心问题：

• 如何寻找合适的神经元模型
• 如何建立神经元模型与AI任务之间的关系

当前普遍采用LIF神经元。

ANN以神经元表示信息，SNN以脉冲序列表示信息。

ANN具有在空间阈传递信息的优势，SNN信息在空间阈和时间阈两个维度传递信息。

ANN精度高，SNN精度低。

ANN密集计算，SNN通过事件驱动模式计算脉冲。

ANN主要操作靠乘加，SNN主要操作靠累加（加法）。

脉冲神经网络训练算法

主要分为三类：

无监督学习——基于局部突触可塑性 e.g.Hebbian Learning，STDP

间接有监督学习——ANN2SNN e.g.Rueckauer（2017），Sengupta（2019）

直接有监督学习——误差时空反向传播（STBP） e.g.Jun Haeng Lee（2016），Wu（2018），C.Lee（2019），Wu（2019）

SNN训练挑战：

复杂时空动力学过程

脉冲信息的不可导性

脉冲退化问题（逐层加深之后，脉冲的发射率越来越小fire rate）

训练精度损失问题

STDP优缺点：

优点：局部调整规划；容易分布式实现；在神经形态芯片上容易实现在线学习功能

缺点：局部突触可塑性不足以解释突触个体的改变如何协调神经系统的整体目标实现；无监督学习，性能差，无法在深度、大规模神经网络中使用

ANN2SNN优缺点：

基本问题：模型精度与模型时延（仿真步长）之间的tradeoff（折衷）

主要误差来源：时间 膜电位

ANN2SNN性能表：

优缺点：

方法较为通用，新出现模型易于扩展到ANN结构

通过较长的时间步T可以缩减两种误差，实现ANN到SNN的几乎无误差转换

需要的训练时间长

应用场景受限：时间依赖信号丢失，丧失时间维度的信息

直接训练SNN的方法：STBP

STBP：

TDBN：

注意力机制：

脉冲神经网络算法综述

脉冲神经网络模型算法发展方向

类脑数据+脉冲神经网络

类脑数据集特征：稀疏事件信号 时间/空间尺度特征 多模态混合数据 动态范围大

华为在做的方向：DVS相机处理稀疏事件

目前类脑数据相对匮乏

模型算法

大模型如何变大？

参数变大？层数变宽（ANN最深1207层，SNN最深482层）？复杂多样性神经元？

未来：构造支持丰富性神经元的模型和算法

构建脉冲神经网络生态