机器学习:简介
# 注:一定要学会用help()查看变量、函数、类、实例对象的使用文档;
# 格式:help(变量、函数、类、实例对象);
一、什么是机械学习
1、一般应用
垃圾邮件分类、图像识别、人脸识别、数字识别
传统解决思路:
编写规则,定义“垃圾邮件”,让计算机执行:将一封邮件输入到传统算法,经判断输出结果;
弊端:对问题本身的规则很难定义;规则在不断变化;
2、人类学习过程
通过一定的样本资料,经过大脑的学习、归纳、整理、总结,获取知识和经验,在遇到类似的事务就可以根据经验和知识做出判断。
3、机械学习过程
对机器学习的算法,输入大量的学习资料,经过训练,得到一个可以以执行任务的算法(也称为模型);在遇到新的样例,该模型可以做出判断。
4、实例应用
判断信用卡发放是否有风险、搜索引擎、电商平台的推荐系统、语音识别、人脸识别
无人驾驶、安全领域、医疗领域、金融领域、市场领域、智能翻译
二、人工智能>机械学习>深度学习
1、常用机械学习算法:
kNN、线性回归、多项式回归、逻辑回归、模型正则化、PCA、SVM、决策树、随机森林、集成学习、模型选择、模型调试
#逻辑回归、决策树、随机森林,这3种算法使用较多。
#机械学习算法的工程师总是在不停的调参;
#学习算法要会调库,但又不能仅会调库,
#搜索算法?
2、学习的问题
- 如何评价算法的好坏;
- 如何解决过拟合和欠拟合;
- 如何调节算法的参数;
- 如何验证算法的正确性;
- 算法原来的学习;
- 部分算法底层的编写;
- scikit-learn机械学习库的使用;
三、anaconda
语言:Python;
框架:Scikit-learn(有内置数据集,也可以通过框架下载数据集)
其它:numpy、matplotlib
IDE:Jupyter Notebook、PyCharm
数学:高数、线性代数、概率论
数据集:MINIST数据集
四、其它
- 数据的特征越多,并且特征真的可以反映最终预测的指标,则预测的准确度越高;
- 根据使用场景不同,机械学习从数据准备到实际应用是一个庞大的过程
- 相应领域有对应的算法:视觉领域、推荐系统领域、自然语言处理、时间序列分析、监督学习
- 真是世界采集的数据是有缺陷的,不能被直接输入给算法系统,需要进行预处理