摘要： 一、引言对于一个学习问题，可以假设很多不同的模型，我们要做的是根据某一标准选出最好的模型。例如，在多项式回归中，对于我们的假设模型，我们最要紧的是决定 k 到底取多少合适，能不能有一种方法可以自动选择出可以在偏差和方差（关于偏差和方差的理论，参考：学习理论）之间做出均衡的模型？为了具体讨论，本文中假... 阅读全文

摘要： 对于训练出的一个稀疏自动编码器，现在想看看学习出的函数到底是什么样子。对于训练一个的图像，.计算每一个隐层节点 的输出值：我们要可视化的函数，就是这个以一副2D图像为输入，以为参数（忽略偏置项），由隐层节点计算出来的函数。特别是，我们把看作是输入的非线性特征。我们很想知道：什么样的的图像能使得成为最... 阅读全文

摘要： 到目前为止，已经叙述了神经网络的监督学习，即学习的样本都是有标签的。现在假设我们有一个没有标签的训练集，其中. 自动编码器就是一个运用了反向传播进行无监督学习的神经网络，学习的目的就是为了让输出值和输入值相等，即.下面就是一个自动编码器：自动编码器试图学习一个函数. 换句话说，它试图逼近一个等式函数... 阅读全文

摘要： 众所周知，反向传播算法很难调试和得到正确结果，特别是在执行过程中存在许多细小难以察觉的错误。这里介绍一种方法来确定代码中导数的计算是否正确。使用这里所述求导检验方法，可以帮助提升写正确代码的信心。假设我们想最小化关于的函数 . 对于这个例子，假设，所以. 在一维空间，梯度下降的一次迭代公式如下：假设... 阅读全文

摘要： 假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数：那么整个训练集的损失函数定义如下：第一项是所有样本的方差的均值。第二项是一个归一化项（也叫权重衰减项），该项是为了减少权连接权重的更新速度，防止过拟合。我们的目标是最小化关于W和 b 的函数... 阅读全文

摘要： 1. 偏差和方差平衡在线性回归中，对于同一个数据集，可以拟合出简单的线性模型或者较为复杂一些的多项式例如：图中的训练样本是一致的，但是可以拟合出不同的模型。最右边图中拟合出的5阶多项式，并不见得就是一个好模型，虽然该模型能够准确预测出样本点的y值,因为这种模型过分拟合了训练样本（过拟合），当对非训练... 阅读全文

摘要： 考虑一个监督学习问题，现在有一些带标签的训练样本(x(i),y(i)).神经网络就是定义一个复杂且非线性的假设hW,b(x)，其中W,b是需要拟合的参数.下面是一个最简单的神经网络结构，只含有一个神经元，后面就用下图的形式代表一个神经元：把神经元看作是一个计算单元，左边的x1,x2,x3(和 截距+... 阅读全文

摘要： 目录：1.间隔2.符号标记3.函数间隔和几何间隔（Functional and geometric margins）4.最佳间隔分类器5.拉格朗日对偶（Lagrange duality）6.最佳间隔分类器（续4）7.核学习8.正则化和不可分样例(Regularization and the non-... 阅读全文

摘要： 考虑用机器学习建立一个邮件过滤系统，来将邮件分成垃圾邮件和非垃圾邮件。首先我们建立一个词典，里面包含了邮件中所有的不重复单词。我们用长度为词典中单词数目的特征向量来表示一封邮件。如下所示：表示一封邮件，如果该邮件包含有词典中的第i个单词，那么，否则.为了建模，作一个很强的假设，假设词典中的每个单词是... 阅读全文

摘要： 考虑一个分类问题：根据一个动物的特征来区分该动物是大象（y=1）还是狗（y = 0）.利用逻辑回归找到一条直线，即分界线，将训练集中的大象和狗分开，当给定一个新的动物特征时，检查该动物位于分界线的哪一边，然后做出判断是大象，还是狗，就是对p(y|x；θ)进行建模。这里我们来看另一种不同的思路,首先根... 阅读全文