文章分类 - 机器学习
摘要:# 优化模型 通过数据收集、数据预处理、训练模型、测试模型上述四个步骤,一般可以得到一个不错的模型,但是一般得到的都是一个参数收敛的模型,然而我们模型还有超参数或不同的核函数等。我们模型优化一块主要是对模型超参数的优化,简而言之就是输入一组超参数,对每个超参数对应的模型进行测试,选择这一组超参数中最优的模型。**1、网格搜索法**网格搜索法相当于对你输入的每一个参数都进行验证,并且可以设置多个参...
阅读全文
摘要:# 训练模型和测试模型![img](https://img2018.cnblogs.com/blog/1825659/201911/1825659-20191109183549093-1452434763..png)由图中,可以看到库的算法主要有四类:分类,回归,聚类,降维。其中:- 常用的回归:线性、决策树、SVM、KNN ;- 集成回归:随机森林、Adaboost、GradientBoosti...
阅读全文
摘要:#数据集## 1、数据集简介在顺练数据模型中,我们通常是通过对大量的数据去重,清洗和计算,从而训练出我们需要的数据模型## 2、sklearn介绍scikit-learn 是基于 Python 语言的机器学习工具1. 简单高效的数据挖掘和数据分析工具2. 可供大家在各种环境中重复使用3. 建立在 NumPy ,SciPy 和 matplotlib 上4. 开源,可商业使用 - BSD许可证1、sk...
阅读全文
摘要:深度学习 图像识别 人脸定位 相信你们外出游玩的时候,都不会带上你的牛逼plus诺基亚手机出门,而是带上你的智能手机给自己美美的拍上一张。当你用手机镜头对准人脸的时候,都会出现一个矩形框,如下图所示(前方高能),那么这个技术是怎么做到的呢? 相机中的人
阅读全文
摘要:scikit learn库之主成分分析 PCA在scikit leran库中的 包下,PCA即最普通的PCA,PCA也有很多变种,我们主要会讲解PCA,然后聊一聊 、`IncremetalPCA SparsePCA MiniBatchSparsePCA`。 &em
阅读全文
摘要:主成分分析(PCA) 维数灾难和降维 在KNN算法中曾讲到,对于高维数据,会出现数据样本稀疏、距离计算困难等问题。但是这种问题并不是仅仅针对KNN算法,只是在KNN算法中这种问题会被放大,而其他的机器学习算法也会因为高维数据对训练模型造成极大的障碍,这种问题一般被称为维数灾难
阅读全文
摘要:特征选择 特征工程在工业上有这么一句广为流传的话:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。接下来将给你介绍特征工程的第一个分支,特征选择。 对于一个学习任务来说,如果某一个特征和我们的学习任务没有太大关系,我们把它称之为无关特
阅读全文
摘要:[TOC] 细分构建机器学习应用程序的流程 数据预处理 sklearn数据预处理官方文档地址:https://scikit learn.org/stable/modules/classes.html module sklearn.preprocessing 1.1 缺失值处理 &emsp
阅读全文
摘要:细分构建机器学习应用程序的流程 数据收集 sklearn数据集官方文档地址:https://scikit learn.org/stable/modules/classes.html module sklearn.datasets sklearn数据集一览 |类型|获取方式|
阅读全文
摘要:细分构建机器学习应用程序的流程 流程简介 1.1 sklearn安装 为了实现接下里的代码,你需要安装下列5个Python第三方库,本文只拿sklearn的安装举例,如果有同学已经安装sklearn,可以把你的sklearn更新到最新版本,其他库同理。 numpy 1.15.
阅读全文
摘要:机器学习算法原理 1.1 感知机算法 每逢下午有体育课,总会有男孩和女孩在学校的操场上玩耍。 假设由于传统思想的影响,男孩总会和男孩一起打打篮球,女孩总会和女孩一起踢毽子、跳跳绳,如下图所示。 从左图中也可以看出总能找到一条直线
阅读全文
摘要:课程习得 通过对这门课程的学习,你将习得以下技能: 1. 你可以快速入门应用机器学习,为公司、企业直接创造价值 2. 你可以掌握机器学习理论基础 3. 你可以学到感知机算法 4. 你可以学到线性回归算法 5. 你可以学到逻辑回归 6. 你可以学到朴素贝叶斯法 7. 你可以学到k近邻算法、决策树、支持
阅读全文
摘要:[TOC] 基于协同过滤的推荐算法 本推荐系统采用中等大小的MovieLens数据集,该数据集包含6000多用户对4000多部电影的100万条评分。该数据集是一个评分数据集,用户可以给电影评5个不同等级的分数(1~5分)。本篇文章主要研究隐反馈数据集中的TopN推荐问题,因此
阅读全文
摘要:[TOC] 推荐系统常用评估指标 RMSE 加大了对预测不准的用户物品评分的惩罚。 $$ \text{RMSE}=\sqrt\frac{\sum_{u,i\in{T}}(r_{ui} \hat{r_{ui}})^2}{|T|} $$ MAE 如果评分系
阅读全文
摘要:坐标轴下降法 坐标轴下降法顾名思义,沿着坐标轴下降。坐标轴下降法和梯度下降法使用的都是迭代法,即使用启发式的方式一步一步迭代求解函数的最小值。 可以想象一个可微的凸函数$J(\omega)$,其中$\omega$是一个$n 1$维的向量。如果在这$n$
阅读全文