机器学习综述

引用的文档

A Survey on Machine Learning: Concept, Algorithms and Applications

A survey of machine learning

Machine Learning, Tom Mitchell 1997 | PDF下载

百度网盘下载地址：https://pan.baidu.com/s/1jJLVfpG

IPFS下载地址：https://ipfs.io/ipfs/QmV5oWgZwH652T15fhVuGrQaou4p6y1aRfxde6HVXMHkPj

机器学习是交叉学科，跨计算机科学和统计学领域。与之类似的研究领域，人或动物的神经科学领域。
数据挖掘、人工智能和机器学习三个学科是交叉的，有重叠的。

发展历史

• 第一阶段是在20世纪50年代中叶到60年代中叶，属于热烈时期。
• 第二阶段是在20世纪60年代中叶至70年代中叶，被称为机器学习的冷静时期。
• 第三阶段是从20世纪70年代中叶至80年代中叶，称为复兴时期。
• 机器学习的最新阶段始于1986年。

研究领域和相关工作

• 非标注数据的有监督学习
• 学习经验的可传递
• 链接不同的ML算法
• 学习者如何主动收集自己需要的数据
• 隐私保护数据挖掘
• Never-Ending Learners (永无止境的学习者)

研究领域的另外一种分类

• 有监督学习
• 无监督学习
• 增强学习

主要的研究方向

• 数据挖掘
  • 目的：从已有数据中发现模式，应用于趋势预测、分类、聚类、频繁模式等
  • 常见问题：过拟合、评估假设、隐私问题
• 人工神经网络
• 增强学习

机器学习算法分类

• 根据学习方式分类
  1. 有监督学习
     1. 线性回归
     2. 最近邻
     3. ID3 (基于决策树)
  2. 无监督学习
  3. 半监督学习
  4. 增强学习
• 根据相似度分类
  1. 回归算法 (Regression Alg)
     1. Linear Regression, Logistic Regression, Stepwise Regression , Ordinary Least Squares Regression (OLSR), Multivariate Adaptive Regression Splines (MARS) , Locally Estimated Scatterplot Smoothing (LOESS)
  2. 基于实例的算法 (Instance-based Alg)
     1. K-Nearest Neighbour (KNN), Learning Vector Quantisation (LVQ), Self-Organising Map (SOM), Locally Weighted Learning (LWL)
  3. 规则化 (Regularisation Algorithm)
     1. 主要指范数规则化
  4. 决策树算法 (Decision Tree Alg)
     1. Classification and Regression Tree (CART), Iterative Dichotomiser 3 (ID3), C4.5 and C5.0, Chi-squared AutomaticInteraction Detection (CHAID) , Decision Stump, M5, Conditional Decision Trees
  5. 贝叶斯算法 (Bayesian Alg)
     1. Naive Bayes, Gaussian Naive Bayes, Multinomial Naive Bayes, Averaged One-Dependence Estimators
        (AODE), Bayesian Belief Network (BBN), Bayesian Network (BN)
  6. 支持向量机 (Support Vector Machine - SVM)
  7. 聚类 (Clustering Alg)
     1. K-Means, K-Medians, Affinity Propagation, Spectral Clustering, Ward hierarchical clustering, Agglomerative clustering. DBSCAN, Gaussian Mixtures, Birch, Mean Shift, Expectation Maximisation (EM)
  8. 关联规则学习算法
  9. 人工神经网络算法 (Artificial Neural Network Alg)
     1. Perceptron, Back- Propagation, Hop-field Network, Radial Basis Function Network (RBFN)
  10. 深度学习算法 (Deep Learning Alg)
      1. Deep Boltzmann Machine (DBM), Deep Belief Networks (DBN), Convolutional Neural Network (CNN), Stacked Auto-Encoders
      2. 它是ANN的特定分支
  11. 降维算法
      1. Principal Component Analysis (PCA), Principal Component Regression (PCR), Partial Least Squares Regression (PLSR), Sammon Mapping, Multidimensional Scaling (MDS), Projection Pursuit, Linear Discriminant Analysis (LDA), Mixture Discriminant Analysis (MDA), Quadratic Discriminant Analysis (QDA), Flexible Discriminant Analysis (FDA)
  12. 算法集成 (Ensemble)
      1. Boosting, Bootstrapped Aggregation (Bagging), AdaBoost, Stacked Generalisation (blending), Gradient Boosting Machines (GBM), Gradient Boosted Regression Trees (GBRT), Random Forest, Extremely Randomised Trees

主要应用

• 语音识别
• 机器视觉
• 监控
• 机器人或自动化控制
• 实证科学实验
• 其他：spam filtering, fraud detection, topic identification and predictive analytics等

未来

• 解释人类的学习能力
• 带有ML原语的编程语言
• 认知