LR梯度下降法MSE演练
同步进行一波网上代码搬砖, 先来个入门的线性回归模型训练, 基于梯度下降法来, 优化用 MSE 来做. 理论部分就不讲了, 网上一大堆, 我自己也是理解好多年了, 什么 偏导数, 梯度(多远函数一阶偏导数组成的向量) , 方向导数, 反方向(梯度下降) 这些基本的高数知识, 假设大家是非常清楚原理的.
如不清楚原理, 那就没有办法了, 只能自己补, 毕竟 ML 这块, 如果不清楚其数学原理, 只会有框架和导包, 那得是多门的无聊和无趣呀. 这里是搬运代码的, 当然, 我肯定是有改动的,基于我的经验, 做个小笔记, 方便自己后面遇到时, 直接抄呀.
01 采样数据
这里呢, 假设已知一个线性模型, 就假设已经基本训练好了一个, 比如是这样的.
\(y=1.477x + 0.089\)
现在为了更好模拟真实样本的观测误差, 给模型添加一个误差变量 \(\epsilon\) (读作 \epsilon) , 然后想要搞成这样的.
\(y =1.477x + 0.089 + \epsilon, \epsilon-N(0, 0.01^2)\)
现在来随机采样 100次, 得到 n=100 的样本训练数据集
import numpy as np
def data_sample(times=100):
"""数据集采样times次, 返回一个二维数组"""
for i in range(times):
# 随机采样输入 x, 一个数值 (均匀分布)
x = np.random.uniform(-10, 10)
# 采样高斯噪声(随机误差),正态分布
epsilon = np.random.normal(0, 0.01)
# 得到模型输出
y = 1.447 * x + 0.089 + epsilon
# 用生成器来生成或存储样本点
yield [x, y]
# test
# 将数据转为 np.array 的二维数组
data = np.array(list(data_sample()))
data 是这样的, 2D数组, 一共100行记录, 每一行表示一个样本点 (x, y).
array([[ 5.25161007, 7.6922458 ],
[ 9.00034456, 13.11119931],
[ 9.47485633, 13.80426132],
[ -4.3644416 , -6.2183884 ],
[ -3.35345323, -4.76625711],
[ -5.10494006, -7.30976062],
.....
[ -6.78834597, -9.73362456]]
02 计算误差 MSE
计算每个点 (xi, yi) 处的预测值 与 真实值 之差的平方 并 累加, 从而得到整个训练集上的均方误差损失值.
# y = w * x + b
def get_mse(w, b, points):
"""计算训练集的 MSE"""
# points 是一个二维数组, 每行表示一个样本
# 每个样本, 第一个数是 x, 第二个数是 y
loss = 0
for i in range(0,len(X)):
x = points[i, 0]
y = points[i, 1]
# 计算每个点的误差平方, 并进行累加
loss += (y - (w * x + b)) ** 2
# 用 总损失 / 总样本数 = 均方误差 mse
return loss / len(points)
样本是一个二维数组, 或者矩阵. 每一行, 表示一个样本, 每一列表示该样本的某个子特征
03 计算梯度
关于梯度, 即多元函数的偏导数向量, 这个方向是, 多元函数的最大导数方向 (变化率最大) 方向 (向量方向), 于是, 反方向, 则是函数变化率最小, 即极值点的地方呀, 就咱需要的, 所以称为, 梯度下降法嘛, 从数学上就非常好理解哦.
def step_gradient(b_current, w_current, points, lr):
# 计算误差函数在所有点的导数, 并更新 w, b
b_gradient = 0
w_gradinet = 0
n = len(points) # 样本数
for i in range(n):
# x, y 都是一个数值
x = points[i, 0]
y = points[i, 1]
# 损失函数对 b 的导数 g_b = 2/n * (wx+b-y) 数学推导的
b_gradient += (n/2) * ((w_current * x + b) - y)
# 损失函数对 w 的导数 g_w = 2/n (wx+b-y) x
w_gradinet += (n/2) * x * ((w_current * x + b) - y)
# 根据梯度下降法, 更新 w, b
new_w = w_current - (lr * b_gradient)
new_b = b_current - (lr * b_gradient)
return [new_w, new_b]
04 更新梯度 Epoch
根据第三步, 在算出误差函数在 w, b 的梯度后, 就可以通过 梯度下降法来更新 w,b 的值. 我们把对数据集的所有样本训练一次称为一个 Epoch, 共循环迭代 num_iterations 个 Epoch.
def gradient_descent(points, w, b, lr, max_iter):
"""梯度下降 Epoch"""
for step in range(max_iter):
# 计算梯度并更新一次
w, b = step_gradient(b, w, np.array(points),lr)
# 计算当前的 均方差 mse
loss = get_mes(w, b, points)
if step % 50 == 0:
# 每隔50次打印一次当前信息
print(f"iteration: {step} loss: {loss}, w:{w}, b:{b}")
# 返回最后一次的 w,b
return [w, b]
05 主函数
def main():
# 加载训练数据, 即通过真实模型添加高斯噪声得到的
lr = 0.01 # 学习率
init_b = 0
init_w = 0
max_iter = 500 # 最大Epoch=100次
# 用梯度下降法进行训练
w, b = gradient_descent(data, init_w, init_b, lr, max_iter)
# 计算出最优的均方差 loss
loss = get_mse(w, b, dataa)
print(f"Final loss: {loss}, w:{w}, b:{b}")
# 运行主函数
main()
iteration: 0 loss: 52624.8637745707, w:-37.451784525811654, b:-37.451784525811654
iteration: 50 loss: 8.751081967754209e+134, w:-5.0141110054193505e+66, b:-5.0141110054193505e+66
iteration: 100 loss: 1.7286223665339186e+265, w:-7.047143783692584e+131, b:-7.047143783692584e+131
iteration: 150 loss: inf, w:-9.904494626138306e+196, b:-9.904494626138306e+196
iteration: 200 loss: inf, w:-1.3920393397706614e+262, b:-1.3920393397706614e+262
iteration: 250 loss: nan, w:nan, b:nan
iteration: 300 loss: nan, w:nan, b:nan
iteration: 350 loss: nan, w:nan, b:nan
iteration: 400 loss: nan, w:nan, b:nan
iteration: 450 loss: nan, w:nan, b:nan
************************************************************
Final loss: nan, w:nan, b:nan
可以看到, 在 Epoch 100多次, 后, 就已经收敛了. 当然正常来说, 应该给 loss 设置一个阈值的, 不然后面都 inf 了, 我还在 epoch, 这就有问题了. 这里就不改了, 总是习惯留下一些不完美, 这样才会记得更深. 其目的也是在与数理 ML 整个训练过程, 用入门级的 线性回归和 梯度下降法来整.
