澹宁

摘要： svm是专门用于二分类问题的办法之一，由于mnist有10类，因此我们需要制定一个多分类的方案。常用的方案有： 1.“一对其他“：把y=i看成一类，其余看成一类,这样一来我们需要训练10组svm,每次都需要训练全部样例，将未知x向量带入取结果最大的对应的类别作为结果类别 2.“一对一”：任选两类做训 阅读全文

摘要： 一.介绍反向传播算法+推导 反向传播算法是人工神经网络最常用且最有效的算法，其算法思路为： 1.前向传播：输入层以及偏置经加权求和被激活函数“打包”送到隐藏层，再经隐藏层以及偏置加权求和被激活函数“打包”送到输出层，在输出层中，我们可以输出总误差。 2.反向传播：a.从输出层反向到隐藏层，通过链式法 阅读全文

摘要： 一.感知机概述 感知机适用于：线性可分的数据，用于二分类 目的：找到分离超平面，完全分离不同的类 感知机公式：，一元多维的函数 感知机学习策略：通过求min(所有误分类点到超平面距离)，即损失函数，来确定权重和偏置 求解方法：梯度下降法 求解步骤：1.初始化权重和偏置 2.任选点（x,y） 3.若y 阅读全文

摘要： 一.svm概述 svm是一种二分类模型，学习策略是通过间隔最大化来实现分类的目的，最终转化为了凸二次规划求解，对于svm，处理的问题有三种情况，即： 1.线性可分问题： 为了高效简化计算参数w,b，将问题转化为： 2.线性不可分问题：（不可分是由于特异点outlier的存在引起的，故引入松弛变量） 阅读全文

摘要： 首先，对于“受多个因素影响会产生两种结果“的这类问题，我们想要训练一种模型，通过这种模型能够实现任意输入一个n维向量，可以输出该类问题是哪一类。 对于上述的情况，我们可以考虑采用逻辑回归的思想来解决。 逻辑回归是输入一个n维向量，通过加权求和，经过激活函数的“打包”，综合得出一个“概率值”，根据该“ 阅读全文

摘要： 上一篇已经介绍过逻辑回归和牛顿法了，这篇就不重述了，直接介绍下拟牛顿法。 拟牛顿法的出现意义在于简化牛顿法的计算，主要在于通过迭代近似出牛顿法的分母海森矩阵，那么具体是如何迭代近似的呢？ 经过k+1次迭代后的xk+1,将f（x）在xk+1处做泰勒展开有，取二阶近似有： 两边同时加一个梯度算子有： 整 阅读全文

摘要： 逻辑回归是2分类的，softmax可以拓展为多分类,softmax求解过程基本上与逻辑回归的求解过程类似，所以学过逻辑回归的话，softmax会很好理解，具体过程如下; softmax的h（x）为： softmax的代价函数为： 在实际应用中，为了使算法实现更简单清楚，我们需要对代价函数做一个改动： 阅读全文