随笔分类 - Machine Learning
摘要：我们用训练集训练出一个初步的模型后，并不能直接使用该模型，而是要对该模型进行诊断，并不断对模型进行调整。 现以普林斯顿大学教授工资数据集为例，来说一下如何对模型进行诊断和对结果进行解读。数据集下载地址：http://data.princeton.edu/wws509/datasets/salary.
阅读全文
摘要：在《机器学习 最小二乘线性回归模型的5个基本假设（Machine Learning Least Squares Linear Regression Assumptions）》一文中阐述了最小二乘线性回归的5个基本假设以及违反这些假设条件会产生的后果。那么，我们怎么检测出是否有违反假设的情况出现以及如
阅读全文
摘要：最小二乘线性回归，感知机，逻辑回归的比较： 最小二乘线性回归 Least Squares Linear Regression 感知机 Perceptron 二分类逻辑回归 Binary Logistic Regression 多分类逻辑回归 Multinomial Logistic Regressi
阅读全文
摘要：在《机器学习 逻辑回归（一）（Machine Learning Logistic Regression I）》一文中，我们讨论了如何用逻辑回归解决二分类问题以及逻辑回归算法的本质。现在来看一下多分类的情况。 现实中相对于二分类问题，我们更常遇到的是多分类问题。多分类问题如何求解呢？有两种方式。一种是
阅读全文
摘要：朴素贝叶斯与逻辑回归的区别： 朴素贝叶斯 逻辑回归 生成模型（Generative model） 判别模型（Discriminative model） 对特征x和目标y的联合分布P(x,y)建模，使用极大后验概率估计法估计出最有可能的P(y|x) 直接对后验概率P(y|x)建模，使用极大似然估计法使
阅读全文
摘要：逻辑回归（Logistic Regression）是一种经典的线性分类算法。逻辑回归虽然叫回归，但是其模型是用来分类的。 让我们先从最简单的二分类问题开始。给定特征向量x=([x1,x2,...,xn])T以及每个特征的权重w=([w1,w2,...,wn])T，阈值为b，目标y是两个分类标签 1和
阅读全文
摘要：在《机器学习 朴素贝叶斯分类器（Machine Learning Naive Bayes Classifier）》一文中，我们介绍了朴素贝叶斯分类器的原理。现在，让我们来实践一下。 在这里，我们使用一份皮马印第安女性的医学数据，用来预测其是否会得糖尿病。文件一共有768个样本，我们先剔除缺失值，然后
阅读全文
摘要：在《机器学习 线性回归（Machine Learning Linear Regression）》一文中，我们主要介绍了最小二乘线性回归算法以及简单地介绍了梯度下降法。现在，让我们来实践一下吧。 先来回顾一下用最小二乘法求解参数的公式：。 （其中：，，） 再来看一下随机梯度下降法（Stochastic
阅读全文
摘要：之前在《机器学习 感知机（Machine Learning Perceptron）》一文中介绍了感知机算法的理论知识，现在让我们来实践一下。 有两个数据文件：data1和data2，分别用于PLA和Pocket Algorithm。可在以下地址下载：https://github.com/Redsto
阅读全文
摘要：感知机（perceptron）是一种线性分类算法，通常用于二分类问题。感知机由Rosenblatt在1957年提出，是神经网络和支持向量机的基础。通过修改损失函数，它可以发展成支持向量机；通过多层堆叠，它可以发展成神经网络。因此，虽然现在已经不再广泛使用感知机模型了，但是了解它的原理还是有必要的。
阅读全文
摘要：在之前的文章《机器学习 线性回归（Machine Learning Linear Regression）》中说到，使用最小二乘回归模型需要满足一些假设条件。但是这些假设条件却往往是人们容易忽略的地方。如果不考虑模型的适用情况，就只会得到错误的模型。下面来看一下，使用最小二乘回归模型需要满足哪些假设，
阅读全文
摘要：线性回归是机器学习中最基础的算法，掌握了线性回归算法，有利于以后更容易地理解其它复杂的算法。 线性回归看似简单，但是其中包含了线性代数，微积分，概率等诸多方面的知识。让我们先从最简单的形式开始。 一元线性回归（Simple Linear Regression）： 假设只有一个自变量x（indepen
阅读全文
摘要：朴素贝叶斯是一组简单快速的分类算法。下面来介绍一下它的原理。 在机器学习中，我们有时需要解决分类问题。也就是说，给定一个样本的特征值（feature1,feature2,...feauren），我们想知道该样本属于哪个分类标签（label1,label2,...labeln）。即：我们想要知道该样本
阅读全文
