机器学习——3线性模型

1、线性模型的基本形式

2、线性模型的线性回归，有序关系均分1，无序关系化向量。

3、由均方误差最小值来进行模型求解的方法叫做最小二乘法。将均方误差关于w关于b求导，得到0，即得最优解。

4、多元线性回归。将数据集表示为矩阵，标记也写成矩阵式。

转置矩阵乘以原矩阵得到平方项，用来搞出来均方差。

5、对数回归。将原方程中的y取log

6、线性判别分析（LDA）

所谓线性判别，实际上是将样例投影到一条直线上。假设有两个样例，每个样例有各自的均值和方差，两个样例分别投影到同一条直线上，然后我们为了区分两个样例，会希望他们的均值相差很大，方差很小。为了分别表示他们，我们引入类内散度矩阵和类间散度矩阵（并非表示均值或者方差），但是我们同样希望类内散度矩阵更小，类间散度矩阵更大。

同时，线性判别分析的投影思想，亦可将线性判别用来监督降维。

7、多分类学习

A、机制有一对多学习，一对一学习

B、纠错输出码技术：

编码 ：对类别划分正反类，产生训练集

解码：预测测试样本，将测试标记组成编码，将预测编码与类别码进行比较，返回最近的。

为什么这个模型能够纠错，因为即使某一个预测码错了，依然可以通过最近的那个返回最准确的预测码所用的分类器。

8、类别不平衡问题

正例反例数据量相差很大的问题。

解决这类问题很简单

A、欠采样法和过采样法

B、再缩放，将所占比例乘以正返利数据量之比。