过拟合与欠拟合

过拟合与欠拟合

loss函数：对模型好坏的评估，损失loss越大，模型越坏
bias与variance

• bias：模型预测的结果偏差较大。即$|\overline{f}-\hat{f}|$较大，$\overline{f}$是所有样本的预测均值，$\hat{f}$是真实值
• variance：模型预测的结果比较分散（误差较大）。即$\sum\limits_{*}(\overline{f}-f^*)^2$较大，$f^*$是某个样本的预测值
  
  两种不好的拟合效果
• 欠拟合：loss很大，模型的预测能力不佳，很可能bias大variance小
  • 可能原因：参数过少、样本量不够
  • 解决方式：增加参数、增加样本量（参数不够的情况下增加样本量没用）
• 过拟合：train得到的loss小，但test得到的loss大，很可能bias小variance大
  • 可能原因：参数过多、样本量不够
  • 解决方式：减少参数、增加样本量、添加正则化项

正则化

• 添加正则化：loss函数加上$\lambda\sum \limits_{i} (\omega^i)^2$，其中$\omega^i$是模型的权重参数
• 原理：可以理解为让拟合曲线更加平滑，减少输入量带来的影响，即减小variance。
  $\lambda$越大，降低loss时就必须更加考虑降低$\omega^i$，从而使得曲线更平滑

训练集、验证集、测试集

添加验证集的原因：采集样本和真实世界的全总样本总有差距，需要验证集尽可能的平衡这些差距
比如在下图，如果没有验证集，train上得到的模型在public test上的结果小，但很可能在private test上的结果大，这也是为什么训练出来的模型在真实世界中的loss一般会更大一些

使用交叉验证法：