摘要：
特征选择 本节将接着上一讲，并结束掉经验风险最小化一章，之后讨论特征选择等相关问题。 我们在假设集合内假设有限的情况下已经证明了一些有用的理论。但是，很多假设集合，内部的参数都是实数(比如线性回归)即假设集合中包含了无数多个假设。那么，我们能否得到类似的结论呢？ 首先，我们讨论一下不是很正确的一些论 阅读全文
2018年11月4日
摘要：
顺序最小化算法 考虑这样一个问题，如果输入X是房子的面积，我们要使用回归方法预测房子的价格。从样本点的分布中，我们看到三次方程(即使用x，x2，x3进行回归曲线拟合)能够更好的拟合数据。为了区分这两组不同的变量(前者为x，后者为(x，x2，x3))，我们称问题的特征x为原始特征(attribute) 阅读全文
摘要：
最优间隔分类器 对于一个给定的数据集，目前有一个很现实的需求就是要找到一个合适的决策边界，使得样本中的最小间隔(几何间隔)最大，而且这样的分类器能够使得分割的训练样本集之间的间隔(gap)最大。现在，我们假设训练集合线性可分，即可以找一条超平面把正样本和负样本分割开来。那么我们如何找到一个超平面来最 阅读全文
摘要：
朴素贝叶斯算法 在结束生成算法模型之前，我们将一种专门用于文本分类的算法。对于分类问题，朴素贝叶斯算法通常效果很好，而对于文本分类而言，则有更好的模型。 对于文本分类，之前提到的朴素贝叶斯算法又称之为多元伯努力事件模型(multi-variate Bernoulli event model)。模型分 阅读全文
摘要：
欠拟合与过拟合概念 图3-1 欠拟合与过拟合概念演示 通常，你选择让交给学习算法处理的特征的方式对算法的工作过程有很大影响。如图3-1中左图所示，采用了y = θ0 + θ1x的假设来建立模型，我们发现较少的特征并不能很好的拟合数据，这种情况称之为欠拟合(underfitting)。而如果我们采用了 阅读全文
摘要：
监督学习的应用与梯度下降 如上图所示，监督学习:对于给定的训练集合，按照某一学习算法学习之后，得到一种好的假设(Hypotheses)用于预测新的数据。 已知m组数据(x1,y1)…(xm, ym)，其中xi是具有n维特征的向量，此外，我们设定xi(0) =1(即截距项)。我们做如下假设： h(x) 阅读全文
摘要：
Practical Advice Using Open-Source Implementation We have learned a lot of NNs and ConvNets architectures It turns out that a lot of these NN are diff 阅读全文
摘要：
Convolution Fundamental I Foundations of CNNs Learning to implement the foundational layers of CNN's (pooling,convolutions) and to stack them properly 阅读全文