梯度下降
1 算法简介
思考:我们给出一组房子面积,卧室数目以及对应房价数据,如何从数据中找到房价y与面积和卧室数目的关系?
为了实现监督学习,我们选择采用自变量、的线性函数来评估因变量y值,
得到:
在公式中 和 分别代表自变量 x1和 x2的权重(weights), ?0代表偏移量。为了方便,我们将评估值写作h(x),令x0=1,则h(x)可以写作:
其中n为输入样本数的数量。为了得到权重的值,我们需要令我们目前的样本数据评估出的h(x)尽可能的接近真实y值。这里我们定义误差函数(cost function)来表示h(x)和y值相接近的程度:
这里的系数是为了后面求解偏导数时可以与系数相互抵消。我们的目的是要误差函数尽可能的小,即求解权重使误差函数尽可能小。
如上图所示,只要自变量x沿着负梯度的方向变化,就可以到达函数的最小值了,反之,如果沿着正梯度方向变化,就可以到达函数的最大值。 我们要求解J函数的最小值,那么就要求出每个 ??(?=0,1,2…?) 的梯度,由于梯度太大,可能会导致自变量沿着负梯度方向变化时,J的值出现震荡,而不是一直变小,所以在梯度的前面乘上一个很小的系数 ? (学习率),对初始化的系数进行更新:
梯度计算公式(即偏导数):
不断对系数进行更新,直至收敛( ?? 的值几乎不发生变化),公式中m为数据样本的组数,i为第i组数据:
最后得到的 ?? 便是最终我们需要求解的线性方程的系数。
2 代码示例
首先先假设现在我们需要求解目标函数 ????(?)=?∗? 的极小值,由于func是一个凸函数,因此它唯一的极小值同时也是它的最小值,其一阶导函数为 ?????(?)=2∗?
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
# 目标函数:y=x^2
def func(x):
return np.square(x)
# 目标函数一阶导数也即是偏导数:dy/dx=2*x
def dfunc(x):
return 2 * x
接下来编写梯度下降法函数:
# Gradient Descent
def GD(x_start, df, epochs, lr):
"""
梯度下降法。给定起始点与目标函数的一阶导函数,求在epochs次迭代中x的更新值
:param x_start: x的起始点
:param df: 目标函数的一阶导函数
:param epochs: 迭代周期
:param lr: 学习率
:return: x在每次迭代后的位置(包括起始点),长度为epochs+1
"""
xs = np.zeros(epochs+1)
x = x_start
xs[0] = x
for i in range(epochs):
dx = df(x)
# v表示x要改变的幅度
v = - dx * lr
x += v
xs[i+1] = x
return xs
在demo_GD中,我们直观地展示了如何利用梯度下降法的搜索过程:
def demo_GD():
# 演示如何使用梯度下降法GD()
line_x = np.linspace(-5, 5, 100)
line_y = func(line_x)
x_start = -6
epochs = 6
lr = 0.3
x = GD(x_start, dfunc, epochs, lr=lr)
color = 'g'
plt.plot(line_x, line_y, c='y')
plt.plot(x, func(x), c=color, label='lr={}'.format(lr))
plt.scatter(x, func(x), c=color, )
plt.legend()
plt.show()
demo_GD()
运行效果如图所示:
从运行结果来看,当学习率为0.3的时候,迭代5个周期似乎便能得到不错的结果了。
**思考:**在上述函数中,改变学习率,会对拟合的结果造成怎样的结果?请同学们尝试着将学习率(lr)改为0.1,0.5,0.9,观察上图的变化。
学习率为0.1的运行界面:
学习率为0.5的运行界面:
学习率为0.9的运行界面: