05 2019 档案
摘要：介绍：https://redstonewill.com/2372/ 项目网址：https://github.com/FavioVazquez/ds-cheatsheets
阅读全文
摘要：先来回顾一下梯度下降法的参数更新公式： （其中，α是学习速率，是梯度） 这个公式是怎么来的呢？下面进行推导： 首先，如果一个函数 n 阶可导，那么我们可以用多项式仿造一个相似的函数，这就是泰勒展开式。其在a点处的表达式如下： 可以看出，随着式子的展开，这个展开式越来越接近于原函数。 如果用一阶泰勒展
阅读全文
摘要：机器学习第二问 机器是如何学习的？（How can machine learn?） 简单来说，机器学习是这样的一个过程：输入我们收集的训练数据，通过学习算法检验所有可能的假设（假设用函数表示），找到一个最近似于真实规律的假设。如下图所示： 一些术语： 特征（Feature）：x∈X，输入的一些描述
阅读全文
摘要：先来回顾一下什么是梯度： 对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度 。 接下来看一下什么是导数和偏导数： 我们知道，函数在某一点的导数就是该函数所代表的曲线在这一点上的变化率。而偏导数涉及到至少两个自变量，因此，从导数到偏导数，就是从曲线变成了曲面。曲线上某一点
阅读全文
摘要：在《机器学习 朴素贝叶斯分类器（Machine Learning Naive Bayes Classifier）》一文中，我们介绍了朴素贝叶斯分类器的原理。现在，让我们来实践一下。 在这里，我们使用一份皮马印第安女性的医学数据，用来预测其是否会得糖尿病。文件一共有768个样本，我们先剔除缺失值，然后
阅读全文
摘要：机器学习第一问 为什么要用机器学习？（What can machine learn?） 答：传统的计算机算法是定义一系列的规则，然后用规则来进行判断，以此来解决问题，而某些问题无法用规则来进行描述。机器学习开发了另外一条道路，就像人类学习书本是书本，铅笔是铅笔一样，都是通过不断地观察，从而得出结论，
阅读全文
摘要：欠拟合（Under Fitting） 欠拟合指的是模型没有很好地学习到训练集上的规律。 欠拟合的表现形式： 当模型处于欠拟合状态时，其在训练集和验证集上的误差都很大； 当模型处于欠拟合状态时，我们一般有以下一些办法： 增加模型复杂度：比如生成更多特征供训练使用； 更换成描述能力更强的模型； 降低正则
阅读全文
摘要：梯度下降算法的任务是寻找参数θ，使之能够最小化损失函数。 那么梯度下降法中的学习速率α应该如何选择呢？通常我们画出损失函数随迭代次数增加而变化的曲线。 可能会得到如下的一条曲线，x轴表示迭代次数，y轴表示梯度下降算法迭代相应次数之后算出的损失函数值。 可以看到，当迭代300次之后，损失函数的值并没有
阅读全文
摘要：在《机器学习 线性回归（Machine Learning Linear Regression）》一文中，我们主要介绍了最小二乘线性回归算法以及简单地介绍了梯度下降法。现在，让我们来实践一下吧。 先来回顾一下用最小二乘法求解参数的公式：。 （其中：，，） 再来看一下随机梯度下降法（Stochastic
阅读全文
摘要：之前在《机器学习 感知机（Machine Learning Perceptron）》一文中介绍了感知机算法的理论知识，现在让我们来实践一下。 有两个数据文件：data1和data2，分别用于PLA和Pocket Algorithm。可在以下地址下载：https://github.com/Redsto
阅读全文
