基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模

Liquid State Machine (LSM) 是一种 脉冲神经网络 (Spiking Neural Network, SNN) ,在计算神经科学和机器学习领域中得到广泛应用,特别适用于处理 时变或动态数据。它是受大脑自然信息处理过程启发而提出的一种 脉冲神经网络 。

设想你正处于一片平静的湖面,四周环绕着高山,你向水中投入一块石头。涟漪开始形成,向四周扩散。此时,在附近再投入一块石头。第二块石头产生的涟漪与第一块s石头产生的涟漪相互交叠,在水面上形成复杂多变的图案。这种图案并非随机产生;它包含了每块石头落水的位置、时间、大小,甚至每次撞击释放的能量等信息。

利用这种涟漪效应来理解和解决问题。在某种程度上,这就是 Liquid State Machines (LSMs) 的工作原理。

由于其处理时间信息的独特方法和特殊的网络结构,Liquid State Machine (LSM) 模型与传统神经网络存在显著差异。

LSM简介

标准神经网络,如前馈网络,本身并不处理时间信息。循环神经网络(Recurrent Neural Network, RNN),如长短期记忆网络(Long Short-Term Memory, LSTM),通过反馈回路捕获序列信息,但需要对每一步进行显式训练。相比之下,LSM使用随机连接的神经元储备池("液体")将输入数据转化为高维动态状态。储备池的设计目的是随时间"回响"输入信号,被动捕捉时间模式而无需直接训练。这种结构以稀疏、高效的方式捕获输入数据的时间依赖性。

 

https://avoid.overfit.cn/post/b09f504dbeff4ca199a9fe1d0847f632