机器学习--线性回归

基本概念

概率分布函数

高斯分布

最小二乘法

他们之间的关系

通常我们拿到一组数据后会观察他如果服从线性回归的时候，我们就可以用线性模型对他进行求解（在这个之前我们有可能会需要判断一下他们之间是否有线性相关性，
这个时候我们的数据家拿出来一个 相关系数 对他进行判断），这个模型通常是y=kx+b+e，如果我们根据 最小二乘法就会直接得到所有预测值和真实值之间的差值平凡和最小
的时候就是这个线性模型的最优的解，那么为什么会有这么个结论呢，根据目前我掌握的知识看，据说最开始发明最小二乘法的人没有找到这个理论依据，这个是后来我们的
高斯同志给他建立了理论指导，就是假设所有的误差项都是均值为0，方差为σ^2的时候，其概率密度函数，经过代入后，我们对所有的概率密度进行累乘，在求对数，就得到目标函数求其最大值，再通过求导的方式找到极值点，进行变量的
求解。