《PyTorch深度学习实践》第3讲—梯度下降

知识点

1. 梯度下降法在计算梯度的时候可以计算梯度的平均值后再更新w，但是不容易取到全局最小值。
2. 在计算梯度的时候可以对每一个点都计算梯度，然后对每一个点都更新w，尽量避免只取到局部最小值的情况。

课件代码

import numpy as np
import matplotlib.pyplot as plt

xData = [1.0, 2.0, 3.0]
yData = [2.0, 4.0, 6.0]

w = 0

def forecast(x : float) -> float:
    return x * w

# calculate cost
def cost(xs : list, ys : list) -> float:
    cost = 0
    for x, y in zip(xs, ys):
        yPred = forecast(x)
        cost += (yPred - y) ** 2

    return cost / len(xs)

# calculate average gradient
def gradient(xs : list, ys : list) -> float:
    grad = 0
    for x, y in zip(xs, ys):
        grad += 2 * x * (x * w - y)

    return grad / len(xs)

for epoch in range(100):
    costVal = cost(xData, yData)
    gradVal = gradient(xData, yData)

    # parameter = 0.01
    w -= 0.01 * gradVal