随笔分类 - Stanford大学机器学习公开课
摘要：（一）朴素贝叶斯多项式事件模型 在上篇笔记中，那个最基本的NB模型被称为多元伯努利事件模型（Multivariate Bernoulli Event Model，以下简称 NB-MBEM）。该模型有多种扩展，一种是在上一篇笔记中已经提到的每个分量的多值化，即将p(xi|y)由伯努利分布扩展到多项式分
阅读全文
摘要：（一）生成学习算法 在线性回归和Logistic回归这种类型的学习算法中我们探讨的模型都是p(y|x;θ)，即给定x的情况探讨y的条件概率分布。如二分类问题，不管是感知器算法还是逻辑回归算法，都是在解空间中寻找一条直线从而把两种类别的样例分开，对于新的样例，只要判断在直线的哪一侧即可；这种直接对问题
阅读全文
摘要：（一）牛顿法解最大似然估计 牛顿方法（Newton's Method）与梯度下降（Gradient Descent）方法的功能一样，都是对解空间进行搜索的方法。其基本思想如下： 对于一个函数f(x)，如果我们要求函数值为0时的x，如图所示： 我们先随机选一个点，然后求出该点的切线，即导数，延长它使之
阅读全文
摘要：（一）局部加权回归 通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting）。如下图的左图。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的 过拟合（overfitting），不符合数据真实的模型。如下图的右图。 下面来讲一种非
阅读全文
摘要：本课内容： 1、线性回归 2、梯度下降 3、正规方程组 监督学习：告诉算法每个样本的正确答案，学习后的算法对新的输入也能输入正确的答案 1、线性回归 问题引入：假设有一房屋销售的数据如下： 引入通用符号： m =训练样本数 x =输入变量（特征） y =输出变量（目标变量） (x,y)—一个样本 i
阅读全文
