随笔分类 - Machine Learning
摘要：3. Model Representation I 1 神经网络是在模仿大脑中的神经元或者神经网络时发明的。因此，要解释如何表示模型假设，我们不妨先来看单个神经元在大脑中是什么样的。 我们的大脑中充满了如上图所示的这样的神经元，神经元是大脑中的细胞。其中有两点值得我们注意，一是神经元有像这样的细胞主体（Nucleus），二是神经元有一定数量的输入神经和输出神经。这些输入神经叫做树突（Dendri...
阅读全文
摘要：在这篇文章中，我们一起来讨论一种叫作“神经网络”(Neural Network)的机器学习算法，这也是我硕士阶段的研究方向。我们将首先讨论神经网络的表层结构，在之后再具体讨论神经网络学习算法。 神经网络实际上是一个相对古老的算法，并且沉寂了一段时间，不过到了现在它又成为许多机器学习问题的首选技术。 1. Non-linear Hypotheses 之前我们已经介绍过线性回归和逻辑回归算法了，那为什...
阅读全文
摘要：1. The Problem of Overfitting 1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。 我们把此类情况称为欠拟合(underfittin...
阅读全文
摘要：1. Classification 这篇文章我们来讨论分类问题（classification problems），也就是说你想预测的变量 y 是一个离散的值。我们会使用逻辑回归算法来解决分类问题。 之前的文章中，我们讨论的垃圾邮件分类实际上就是一个分类问题。类似的例子还有很多，例如一个在线交易网站判断一次交易是否带有欺诈性（有些人可以使用偷来的信用卡，你懂的）。再如，之前判断一个肿瘤是良性的还是恶...
阅读全文
摘要：1. Multiple features（多维特征） 在机器学习之单变量线性回归（Linear Regression with One Variable）我们提到过的线性回归中，我们只有一个单一特征量（变量）——房屋面积x。我们希望使用这个特征量来预测房子的价格。我们的假设在下图中用蓝线划出： 不妨思考一下，如果我们不仅仅知道房屋面积（作为预测房屋价格的特征量（变量）），我们还知道卧室的数量、楼层...
阅读全文
摘要：1. 模型表达（Model Representation） 我们的第一个学习算法是线性回归算法，让我们通过一个例子来开始。这个例子用来预测住房价格，我们使用一个数据集，该数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集： 我们来看这个数据集，如果你有一个朋友正想出售自己的房子，如果你朋友的房子是1250平方尺大小，你要告诉他们这房子能卖多少钱。 那么...
阅读全文
摘要：引言本系列文章是本人对Andrew NG的机器学习课程的一些笔记，如有错误，请读者以课程为准。在现实生活中，我们每天都可能在不知不觉中使用了各种各样的机器学习算法。例如，当你每一次使用 Google 时，它之所以可以运行良好，其中一个重要原因便是由 Google 实现的一种学习算法可以“学会”如何对...
阅读全文
摘要：一个函数在某一点的导数描述了这个函数在这一点附近的变化率。（微小的dx变化，引起多大的dy变化） 对于一个隐函数F(X)（X = {x0,x1,…,xn}）而言，由于其在X的各个方向上变化速率和方向都是不同的，例如可以在x0方向上以线性方式变化，在x1方向上以平方级别方式变化等等，那么如果我们想知道在给定X附近F(X)的变化方向和速率，要如何刻画？ 答案是梯度。梯度是F(X)对各个分量求偏导后的结...
阅读全文