06 2019 档案
摘要：的每一维 表示的是网络给出的样本 x属于第 i类的概率。给定样本(x,y) ，其中 是one-hot向量. 对于分类问题，也就是 ，并且使用交叉熵损失函数 时，输出层的误差项 到底是个什么形式 方法一: 根据法则 可得 所以, 根据恒等式 可得 所以. 其称之为输出误差项 方法二: https://
阅读全文
摘要：激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题 首先我们有这个需求，就是二分类问题，如我要将下面的三角形和圆形点进行正确的分类，如下图： 利用我们单层的感知机, 用它可以划出一条线, 把平面分割开： 上图直线是由得到，那么该感知器实现预测的功能步骤如下，就是我已经训练好了一个感知器模型
阅读全文
摘要：转自: https://www.cnblogs.com/Determined22/p/6562555.html 关于梯度消失问题: 1.网络层次越深, 越容易引起梯度消失, 无论是纵向网络(bp), 还是横向网络(rnn), 梯度消失是由激活函数的导数位于[0,1]区间引起的 2.bp网络梯度消失会
阅读全文
摘要：最大熵模型 最大熵模型属于log-linear model，在给定训练数据的条件下对模型进行极大似然估计或正则化极大似然估计： 其中，为归一化因子，w为最大熵模型的参数，fi(x,y)为特征函数——描述(x,y)的某一事实 具体推导参见: https://blog.csdn.net/asdfsadf
阅读全文
摘要：softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 我们知道指数函数的值域取值范围是零到正无穷。与概率取值相似的地方是它们都是非负实数。那么我们可以利用指数函数将多分类结果映射到零到正无
阅读全文
摘要：Hierarchical Softmax是一种对输出层进行优化的策略，输出层从原始模型的利用softmax计算概率值改为了利用Huffman树计算概率值。一开始我们可以用以词表中的全部词作为叶子节点，词频作为节点的权，构建Huffman树，作为输出。从根节点出发，到达指定叶子节点的路径是的。Hier
阅读全文
