小结：机器学习基础部分

内容主要分成数据+算法：①数据：matlab预处理；②1类模型(统计机器学习)+2类模型(概率图)：

主要讲解模型：
①统计机器学习：SVM，NN  
②概率图：Bayes Network、GMM、HMM

 

                                                   两个派别的部分典型算法 

 

一、数据：
1.可以用于机器学习的数据（连续值，有类别值（有监督）、无类别（无监督））
基本都是大数据，需要进行数据预处理（python，matlab，SPSS(统计分析常用)）
①介绍大数据（数据类型：高送转影响因素/油价影响因素/干扰源节点/CAN）
②导入数据：
③数据预处理操作流程走一遍；
④特征工程（选取最相关的因素=>）：PCA降维(原理，代码)，因子分析，…
【备注：matlab常用快捷键：https://www.csdn.net/gather_2c/MtzaEg5sODQ5LWJsb2cO0O0O.html】
最终输出数据：举例说明（干扰源:onenote）

 

二、1类模型：（频率派：统计机器学习）
讲解思路：model、strategy=loss function 、 optimization algorithm （图示讲解NN，SVM）
NN,SVM都可以用来解决回归/分类问题；

 

2.1 NN：(原理，matlab实现)
Model: （图示）介绍结构，变量（aij , weight , bias ）
Strategy：由loss function 体现：【处理连续问题一般是测试集的均方误差，处理分类问题一般是错分率】
【指标：F1指标，混沌矩阵，ROC曲线 => 定量说明模型解决问题的有效性：】
Optimization algorithm： BP反向传播算法（减少运算的复杂度）；梯度下降（验证BP算法）=> 验证后再进行训练

 

 

2.2 SVM：(原理，matlab实现)
Model: wTx+b=0 => 超平面，【参数估计：w*,b*】
strategy：loss function => 错分率（泛化误差（回归）/泛化的错分率（分类））
Optimization algorithm：SMO算法（坐标上升法）【类比EM，图示，与梯度下降法做对比】
类型：[soft-margin SVM(容错系数C) ; hard-margin SVM]

 

备注：什么是模型训练：
【所谓模型训练，其实就是参数估计的问题：w*,b* ： 【traning=learning】
参数估计会应用于什么场景：给定数据集，训练模型，其实就是找到一个模型能最好的“拟合”该训练集，然后用测试集去测试，看模型能不能成功预测未知的数据的输出=>举例： 股价涨/跌；油价涨/跌；自动驾驶识别行人/车辆（计算机视觉），驾驶员风格识别（激进，温和）】

 

三、2类模型：（概率图）
讲解思路：model+ optimization algorithm
Bayes、GMM、HMM解决复杂问题的模式识别/预测（聚类/分类/回归）
3.1概率图简介：

条件独立性=>求解联合概率=>解决问题 P(X|θ)
明确概率相关概念：边缘，条件，联合；先验，似然，后验
联合概率公式：P(x1,x2,…xp)=product[p(xi|x1,x2,…,xi-1)]

 

3.2 Bayes：
有向图求解联合概率公式简化：
(全局Markov性质：条件独立性)=>联合概率因子分解式：P(x1,x2,…xp)=product[p(xi|xpa(i))]
通过假设进行简化
假设一：x1,x2,…,xN之间 iid=> Naïve Bayes ：简化太过，解决实际问题误差太大。
假设二：XA={X1,X2,X8}; XB={X3,X4,X9}; XC={X5,X6,X7}
XA,XB,XC之间iid=> 概率图——>条件独立性——>联合概率的因子分解式P(x1,x2,…xp)=product[p(xi|xpa(i))]
全局Markov性质三个单元（博客）：tail-tail  ; head-tail ; head-head。=>全局性质
Markov Blanket：目的是为了简化计算 P(xi | x1,x2,…xi-1,xi+1,…xp)，使其=P(xi | xpa(i)，xchild(i)，xchild_pa(i))

 

3.3 Markov Network
无向图求解联合概率公式简化：（机器学习B站白板推导：shuhuai008）

=> 问题更复杂=> 引入隐变量=> 深度生成模型 【区别深度神经网络】

 

3.4 GMM+EM( 及其变种算法：VIEM/VEM；MCEM :解决后验的求解问题)
思路：
Model：图示（Z,X；Gause），变量含义解释，解决实际问题
数值解法：
EM：

 

3.5 HMM+viterbi
思路：
Model：图示
数值解法：
Viterbi：知乎