Hopfield神经网络 简介

Hopfield神经网络 简介

一、总结

一句话总结：

【Hopfield和BP同一时期】：BP属于前馈式类型，但是和BP同一时期的另外一个神经网络也很重要，那就是Hopfield神经网络，他是反馈式类型。这个网络比BP出现的还早一点，

【Hopfield网络的权值不是通过训练出来的，而是按照一定规则计算出来的】：他的学习规则是基于灌输式学习，即网络的权值不是通过训练出来的，而是按照一定规则计算出来的， Hopfield神经网络就是采用了这种学习方式，其权值一旦确定就不在改变，而网络中各神经元的状态在运行过程中不断更新，网络演变到稳定时各神经元的状态便是问题之解。

【其它网络的基础】：在这里简要解释一下为什么要学习这个神将网络，因为深度学习算法起源来源于这里还有BP，从这里开始后面会引入玻尔兹曼机、受限玻尔兹曼机、深度置信网络，径向基逼向器、卷积神经网络、递归神经网络。

 

1、Hopfield神经网络分为离散型和连续型两种网络模型，分别记为DHNN（Discrete Hopfield Neural Network）和CHNN（Continues Hopfield Neural Network）？

(1)、离散的Hopfield网络用于联想记忆

(2)、连续的Hopfield网络用于求解最优化问题

 

 

 

二、Hopfield神经网络

转自或参考：Hopfield神经网络
https://blog.csdn.net/richard2357/article/details/23184999

1982年，生物物理学家J.Hopfield提出了一种新颖的人工神经网络模型——Hopfield网络模型，引入了能量函数的概念，是一个非线性动力学系统。

(1) 离散的Hopfield网络用于联想记忆

(2) 连续的Hopfield网络用于求解最优化问题

1. 离散型Hopfield神经网络

能量函数：

能量函数E按照迭代一定会下降（证明我一直卡在一个地方，后来发现xi改变了，不仅改变了该节点的能量，而且对其它节点也有影响，故把证明贴上来，免得自己忘记）

证明：

无论x从-1变到1还是从1变到-1，能量都是下降的。

特点：结点输出为-1或+1

用途：联想记忆（自联想，互联想）

(1) 先训练出权值w

(2) 根据输入进行迭代，回忆出联想的结果

2. 连续型Hopfield神经网络

能量函数：

其中f为signmoid函数，能量函数E按照迭代一定会下降（证明请见专门教材）

特点：结点输出为(-1, +1)间的连续值

用途：最优化求解（如TSP问题）

(1) 把目标函数转化为网络的能量函数

(2) 问题的变量对应于网络的状态

(3) 当网络的能量函数收敛于极小值时，网络的状态对应最优解

小结：

优点：成功解决了TSP问题

缺点：因为是贪心算法，故容易陷入局部最小值（解决方法：Boltzmann机引入模拟退火，是其改进）

参考文献：

[1] 马锐. [M] 人工神经网络原理. 机械工业出版社

[2] http://cs.nju.edu.cn/rinc/course/NN/%E7%AC%AC9%E7%AB%A0%20Hopfield%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E8%81%94%E6%83%B3%E8%AE%B0%E5%BF%86.pdfhttp://cs.nju.edu.cn/rinc/course/NN/%E7%AC%AC9%E7%AB%A0%20Hopfield%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E8%81%94%E6%83%B3%E8%AE%B0%E5%BF%86.pdf

 

 

 

三、深度学习 --- Hopfield神经网络详解

转自或参考：深度学习 --- Hopfield神经网络详解
https://blog.csdn.net/weixin_42398658/article/details/83991773

前面几节我们详细探讨了BP神经网络，基本上很全面深入的探讨了BP，BP属于前馈式类型，但是和BP同一时期的另外一个神经网络也很重要，那就是Hopfield神经网络，他是反馈式类型。这个网络比BP出现的还早一点，他的学习规则是基于灌输式学习，即网络的权值不是通过训练出来的，而是按照一定规则计算出来的， Hopfield神经网络就是采用了这种学习方式，其权值一旦确定就不在改变，而网络中各神经元的状态在运行过程中不断更新，网络演变到稳定时各神经元的状态便是问题之解。在这里简要解释一下为什么要学习这个神将网络，因为深度学习算法起源来源于这里还有BP，从这里开始后面会引入玻尔兹曼机、受限玻尔兹曼机、深度置信网络，径向基逼向器、卷积神经网络、递归神经网络。因此从这里一步步的深入进去是很好的开始，等到卷积你会有总体感，不会觉得太突兀。

Hopfield神经网络分为离散型和连续型两种网络模型，分别记为DHNN（Discrete Hopfield Neural Network）和CHNN（Continues Hopfield Neural Network）,这里主要讨论离散型网络模型，下面默认都是离散型的。