【机器学习】--回归问题的数值优化

一、前述

回归问题求解时梯度下降由于样本数据的多样性，往往对模型有很大的影响，所以需要对样本数据做一些优化

二、归一化

1、背景

各个维度的输入如果在数值上差异很大，那么会引起正确的w在各个维度上数值差异很大。这样找寻w的时候，对各个维度的调整基本上是按照同一个数量级来进行调整的。因此需要归一化。

2、归一化方法

• 归一化的一种方法：最大值最小值法
• 缺点是抗干扰能力弱
• 受离群值得影响比较大
• 中间容易没有数据

归一化的一种方法：方差归一化
• 优点是抗干扰能力强，和所有数据都有关

. 使数量级在一个量级
• 缺点是最终未必会落到0到1之间
• 牺牲归一化结果为代价提高稳定

归一化的一种方法：均值归一化

3、案例分析一

优化方法：方差归一化

结果：

4、案例分析二

解决办法：尽可能让X的各个维度上取值有正有负。

均值归一化，每个数量减去平均值。