随笔分类 - 神经网络
摘要:书上的图5.7介绍了神经网络的结构 但是图过于简单,对于推导公式很不利,很难理解,我对原图做了一些修改和扩展,方便大家理解 首先看下图上的一些标记说明 \(
阅读全文
摘要:1.种类 感知器 Logistic回归 Softmax回归 交叉熵和对数似然 支持向量机 Softmax回归是多分类,其他都是二分类 #2.线性回归模型 #3.线性分类模型 $g(f(x;w))=\begin{cases} 1 & if\ f
阅读全文
摘要:1.自动微分概念 自动微分是利用链式法则来自动计算的一个复合函数的梯度 2.计算图 3.案例 计算步骤 \(\frac{\partial f(x;w,b)}{\partial w}=\frac{\partial f(x;w,b)}
阅读全文
摘要:在神经网络学习中,个人认为有两块十分重要的理论知识对理解神经网络的工作由重要的意义,一个是许志钦老师讲解的F-principle,阐述了为什么神经网络不会过拟合,另外一个就是通用近似定理,解释了为什么神经网络不需要知道问题的目标函数就可以拟合 B站视频讲解 www.bilibili.com/vide
阅读全文
摘要:1.神经网络 神经网络最早是作为一种主要的连接主义模型。 20世纪80年代后期,最流行的一种连接主义模型是分布式并行处理(Parallel Distributed Processing,PDP)网络,其有3个主要特性: 1)信息表示是分布式的(非局部的); 2)记忆和知识是存储在单元之间的连接上;
阅读全文
摘要:教材 https://www.bilibili.com/video/BV13b4y1177W 符号 含义 维数 偏置项 1.神经元模型 2.激活函数 ##性质 ###连续并可导(允许少数点上不可
阅读全文
摘要:人工神经网络主要由大量的神经元以及它们之间的有向连接构成。因此考虑三方面: 神经元的激活规则 主要是指神经元输入到输出之间的映射关系,一般为非线性函数。 ##网络的拓扑结构 不同神经元之间的连接关系。 前馈网络 记忆网络 图网络 ##学习算法 通过训练数据来学习神经网络的参数。
阅读全文
摘要:赫布法则 Hebb's Rule “当神经元 A的一个轴突和神经元B很近,足以对它产生影响,并且持续地、重复地参与了对神经元B的兴奋,那么在这两个神经元或其中之一会发生某种生长过程或新陈代谢变化,以致于神经元A作为能使神经元B兴奋的细胞之一,它的效能加强了。” 加拿大心理学家Donald Hebb,
阅读全文