机器学习算法原理及推导——目录

　　在机器学习的过程中，有很多的算法，算法的原理及推导过程的理解尤为重要，算法的理解深浅直接关系到对模型的构造能力，优化能力，故此，算法原理及推导过程不可不知。代码倒是其次，就那么几行，套模板即可。

　　本文为一个大体的目录，首先要了解到前言知识指导的原理和内容，才能流畅的学习各个算法的原理和推导过程，接下来的几篇文章会慢慢展开目录的内容。如有错漏，还望评论区指正或私信交流。一边学习一边记录更新，暂时只有这些。

前言知识指导：

　　泰勒展开公式

　　拉格朗日乘数法

　　梯度

　　最小二乘法

　　联合概率与条件概率

　　贝叶斯公式

　　伯努利分布

　　二项分布

　　正态分布

　　边缘分布

　　极大似然估计

　　

线性回归

　　岭回归

　　 LASSO回归

　　多项式回归

　　解析解与数值解

　　最小二乘回归（求解多元线性回归解析解）

　　梯度下降法（求解多元线性回归数值解）

KNN算法

　　kd-tree

逻辑回归

　　softmax回归　

决策树模型

　　ID3算法　

　　C4.5算法

　　CART算法 softmax

 

集成学习

　　集成算法

　　随机森林

　　提升算法

　　GBDT(迭代决策树)

　　Adaboost