多元线性回归

矩阵和向量

矩阵:由数字组成的矩形阵列并写在方括号内

向量是只有一列是矩阵,即nx1的矩阵

Xij表示矩阵元素

Yi表示向量元素

默认从1开始下标,大写表示矩阵小写表示向量

 

预测=数据矩阵X参数矩阵可以简化计算

矩阵车乘法没有交换律只有结合律

 

 

 

多元线性回归方程

 

 

 

m表示样本数量

n表示特征值数目

xi表示第i个输入样本

xij表示第i个输入样本的第j个参数

 

线性回归函数假设:

 

 

 

X的特征向量是一个从0开始的n+1维向量

 

 

 

参数向量为

 

 

 

上述回归函数假设可以写成:

 

 

 

这就是多元线性回归

,代价函数为:

 

 

 

 

 

 

特征值处理

如果在两个影响参数变化范围相差过大的情况下,比如说,影响房价因素,一个是面积变化范围为0-2000英尺,一个是卧室数量,在0-5之间。二者最后会导致,等值线图变得非常的细,扁,这样会导致,梯度下降的过程变得十分艰难,很难得到最优解

 

 

 

因此就需要进行特征值缩放

 

 

 

 

 

更容易通过梯度下降得到最优解

除了用参数值除以最大值,还可以通过均值归元化的方式

 

 

学习率

 

 

 

每步迭代后代价函数值和迭代次数之间的关系

如果学习率阿尔法过大就会导致代价函数值变大

 

 

从而导致代价函数和迭代次数的函数图像发生变化,就是过拟合

 

posted @ 2022-07-04 17:15  凋零_(  阅读(271)  评论(0编辑  收藏  举报