摘要: 一、KNN算法的介绍 K最近邻(k-Nearest Neighbor,KNN)分类算法是最简单的机器学习算法之一,理论上比较成熟。KNN算法首先将待分类样本表达成和训练样本一致的特征向量;然后根据距离计算待测试样本和每个训练样本的距离,选择距离最小的K个样本作为近邻样本;最后根据K个近邻样本判断待分 阅读全文
posted @ 2018-07-28 19:19 林木子 阅读(7625) 评论(0) 推荐(0) 编辑
摘要: 一、感知机介绍 感知器(英语:Perceptron)是Frank Rosenblatt在1957年就职于康奈尔航空实验室(Cornell Aeronautical Laboratory)时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络,是一种二元线性分类器。Frank Rosen 阅读全文
posted @ 2018-07-28 19:10 林木子 阅读(6201) 评论(0) 推荐(0) 编辑
摘要: 一、逻辑回归的介绍 logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。例如,探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例,选择两组人群,一组是胃癌组,一组是非胃癌组,两组人群必定具有不同的体 阅读全文
posted @ 2018-07-28 18:53 林木子 阅读(6598) 评论(0) 推荐(1) 编辑
摘要: 一、线性回归(Linear Regression)介绍 线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w'x +e,e为误差服从均值为0的正态分布。线性回归是经济学的主要实证工具。例如,它是用来预测消费支出,固定投 阅读全文
posted @ 2018-07-28 17:35 林木子 阅读(2485) 评论(0) 推荐(0) 编辑
摘要: 支持向量机在高维或无限维空间中构造超平面或超平面集合,其可以用于分类、回归或其他任务。直观来说,分类边界距离最近的训练数据点越远越好,因为这样可以缩小分类器的泛化误差。 调用sklearn.svm的svc函数,将MNIST数据集进行分类,并将整体分类精度输出,这里用了两种预处理的方法(将特征值变成0 阅读全文
posted @ 2018-07-28 17:26 林木子 阅读(2460) 评论(0) 推荐(0) 编辑
摘要: 调用自己写的朴素贝叶斯函数正确率是84.12%,调用sklearn中的BernoulliNB函数,正确率是84.27% 调用sklearn中的BernoulliNB函数的代码如下: 结果截屏: 优化:加入主成分分析方法,进行降维操作,代码如下: 结果截屏: 待修改中! 参考链接;https://bl 阅读全文
posted @ 2018-07-28 17:00 林木子 阅读(3652) 评论(0) 推荐(0) 编辑
摘要: 一、感知机的定义 感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型,感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数 阅读全文
posted @ 2018-07-16 17:21 林木子 阅读(234) 评论(0) 推荐(0) 编辑
摘要: 承接上一篇博文中的线性回归中的的cost function。我们想要找出能使得 J(θ)最小的θ(也叫weights)。 其中J(θ)如下所示: 为了做到使其值最小,让我们使用一个search algorithm,起先对θ做初始猜测,并且不断的改变θ来使得J(θ)最小,直到我们有希望地收敛于θ值最小 阅读全文
posted @ 2018-07-16 10:47 林木子 阅读(979) 评论(0) 推荐(0) 编辑
摘要: 下面是对Andrew Ng的CS229机器学习课程讲义note1做的一部分笔记,按照自己的理解,对note1进行部分翻译,英文水平和知识水平不够,很多认识都不够深刻或者正确,请大家不吝赐教! 一、基本知识 作为“input”variables(在这个例子中是living area),也叫做input 阅读全文
posted @ 2018-07-13 20:15 林木子 阅读(8914) 评论(1) 推荐(0) 编辑
摘要: 一、遇到的问题小结 1.python读取数据集文件,因为路径的问题总是报错,错误是no file directory,改了很久,最后正确的示例(要注意的一点就是一定要仔细核对,我有一个地方将‘-’变成了‘.’竟然报错OSError,一下子懵逼,后面才发现写错了): 2.python的struct.p 阅读全文
posted @ 2018-07-11 21:13 林木子 阅读(1184) 评论(0) 推荐(0) 编辑