机器学习算法简介

---恢复内容开始---

1、回归

线性回归：

　　求解：最小乘、梯度下降。闭合解。

　　似然和概率：参数的似然，数据的概率。

　　最大似然：参数使得数据出现概率最大。

　　最小二乘：等价于高斯IID误差假设下的最大似然。相当于p(y|x;o)建模高斯分布（指数簇）。

局部线性回归（效果很好）：非参数算法，代价高。波长参数需要选择，权重参数个数=样本个数，每次预测都是一次拟合。Andrew Moore:KD-Tree更有效改进。

广义线性模型（GLM）：从指数分布簇中推到。Softmax Regression。

2、分类

逻辑回归：　　求解：最大似然、梯度下降，和线性回归推导出的学习规则相同。相当于p(y|x;o)建模伯努利分布（指数簇）。

感知器：

　　求解：推导出来还是和线性回归一样。

高斯判别分析（生成模型）：求联合分布似然

　　和逻辑回归比较：假设x|y服从高斯分布，p（y=1|x）是逻辑函数，反之不成立。生成模型需要样本少，但是假设很强强（如果假设近似成立，效果很好），逻辑回归假设弱。事实上，假设x|y服从任意指数簇分布，p（y=1|x）是逻辑函数，这说明logistic鲁棒性很好。

朴素贝叶斯（生成模型）：

　　条件独立假设，

3、牛顿法

　　二次收敛：收敛速度快

　　每次计算Hessian的逆，特征越多，代价越大

　　求最大和最小形式相同

4、生成模型和判别模型

生成模型：对正类样本和负类分别建模，得到类条件概率密度，对新样本找出匹配最好模型。

判别模型：学习p（y|x）