李宏毅机器学习-回归
task2 回归
找到一个Function，通过这个Function预测出一个数值，如根据股票走势预测明天的股票情况，根据宝可梦的属性预测它的CP值
2.1 线性模型：
input x: featrue
w: weight
b: bias
2.2 损失函数(Loss Function)
损失函数的作用是衡量参数的好坏
线性模型中损失函数用真实的output和Function预测的output的平方差之和表示
2.3 梯度下降(Gradient Descent)
如何找到使得损失最小的参数，最简单的办法就是遍历所有的参数。梯度下降算法可以减少计算量，快速求出损失最小时的参数
梯度下降算法就是不断求Loss Function关于这个参数的偏导，然后更新w的过程
求导可以理解为求这个曲线当前点的斜率，如果大于0，这是个增函数，我们需要往左边移动；如果小于0，代表函数是递减的，我们需要往右边移动
n是学习率，表示梯度下降的速度
以Function
为例
要注意局部最优点，局部最优不是全局最优，我们需要的是全局最优的点
如果引入参数b，则我们也要求Loss Function关于b的偏导，并更新b
2.4 过拟合与欠拟合
预测宝可梦的CP
复杂的Function在训练集上表现良好，但是在测试集中损失较大，造成过拟合(Overfitting), 太简单的Function在训练集上表现很差，造成欠拟合
过拟合：
预测不同种类宝可梦的CP
每个种类对应一个Function
可以将不同种类的Function进行合并
预测结果还行
样本引入更多的参数 也可能导致过拟合
2.5 正则(Regularization)
更多特征，但是权重w可能会使某些特征权值过高，仍旧导致overfitting，所以加入正则化
引入𝜆，𝜆越大w越小曲线越平滑
选择合适的𝜆值
