机器学习---算法汇总目录

机器学习算法：

机器学习理论基础学习1——频率派 VS 贝叶斯派

机器学习理论基础学习2——线性回归

机器学习理论基础学习3.1--- Linear classification 线性分类之感知机PLA（Percetron Learning Algorithm）

机器学习理论基础学习3.2--- Linear classification 线性分类之线性判别分析(LDA)

机器学习理论基础学习3.3--- Linear classification 线性分类之logistic regression（基于经验风险最小化）

机器学习理论基础学习3.4--- Linear classification 线性分类之Gaussian Discriminant Analysis高斯判别模型

机器学习理论基础学习3.5--- Linear classification 线性分类之朴素贝叶斯

机器学习理论基础学习4--- SVM（基于结构风险最小化）

机器学习理论基础学习5--- PCA

机器学习理论基础学习6--- 核方法

机器学习理论基础学习7---指数族分布

机器学习理论基础学习8--- 概率图模型

机器学习理论基础学习9--- EM 算法

机器学习理论基础学习10--- 高斯混合模型GMM

机器学习理论基础学习11--- 变分推断

机器学习理论基础学习12---MCMC

机器学习理论基础学习13--- 隐马尔科夫模型 (HMM)

机器学习理论基础学习14.1---线性动态系统-卡曼滤波 Kalman filter

机器学习理论基础学习14.2---线性动态系统-粒子滤波 particle filter

机器学习理论基础学习15---条件随机场(CRF)

机器学习理论基础学习16---高斯网络(GN)

机器学习理论基础学习17---贝叶斯线性回归(Bayesian Linear Regression)

机器学习理论基础学习18---高斯过程回归(GPR)

机器学习理论基础学习19---受限玻尔兹曼机(Restricted Boltzmann Machine)

机器学习理论基础学习20---谱聚类

机器学习理论基础学习21---决策树

常见聚类方法总结

生成模型和判别模型

Random Forest总结

极限树(extraTree)

GBDT总结

Adaboost总结

Xgboost总结

LightGBM总结

弱分类器的进化--Bagging、随机森林、Boosting

监督学习之knn算法

有监督和无监督的区别？

 

机器学习特征工程与优化：

 

数据质量分析：缺失值、异常值、相似性

 

激活函数Sigmoid、Tanh、ReLu、softplus、softmax

如何用softmax和sigmoid来做多分类和多标签分类

回归评价指标MSE、RMSE、MAE、R-Squared

评价指标的局限性、ROC曲线、余弦距离、A/B测试、模型评估的方法、超参数调优、过拟合与欠拟合

Hinge Loss、交叉熵损失、平方损失、指数损失、对数损失、0-1损失、绝对值损失

特征选择：Filter/Wrapper/Embedded

卡方检验原理及应用

连续数值变量的一些特征工程方法：二值化、多项式、数据倾斜处理

L1正则化和L2正则化

梯度下降法(BGD、SGD)、牛顿法、拟牛顿法（DFP、BFGS）、共轭梯度法

用于模型选择的AIC与BIC

 

深度学习算法：

卷积神经网络(一)

卷积神经网络(二)---深度卷积网络：实例

卷积神经网络(三)--目标检测

卷积神经网络(四)--人脸识别与神经风格迁移

【序列模型】第一课--循环序列模型

【序列模型】第二课--自然语言处理与词嵌入

【序列模型】第三课--序列模型和注意力机制

seq2seq和attention应用到文档自动摘要（一）

RNN/LSTM/GRU/seq2seq公式推导

动手写序列模型RNN/LSTM 前向后向传播

word2vec原理(一) CBOW+Skip-Gram模型基础

word2vec原理(二) 基于Hierarchical Softmax的模型

word2vec原理(三) 基于Negative Sampling的模型

 

深度学习优化：

改善深层神经网络_优化算法_mini-batch梯度下降、指数加权平均、动量梯度下降、RMSprop、Adam优化、学习率衰减

关于神经网络的调参顺序

Dropout正则化和其他方法减少神经网络中的过拟合

训练/验证/测试集设置;偏差/方差;high bias/variance;正则化;为什么正则化可以减小过拟合

神经网络--参数初始化

梯度消失与梯度爆炸 ==> 如何选择随机初始权重

keras 分类回归 损失函数与评价指标