李宏毅机器学习课程笔记-2.3欠拟合与过拟合
欠拟合（Underfitting）
定义
Bias较大、Variance较小。
如果模型在训练集上的误差很大，则此时Bias是大的，情况为欠拟合。
Bias大时如何处理
使用更复杂的模型，比如添加考虑更多维度的输入、把线性模型换成非线性模型。
过拟合（Overfitting）
定义
Bias较小、Variance较大。
如果模型在训练集上的误差很小，但是在测试集上的误差很大，则此时Variance是大的，情况为过拟合。
Variance大时如何处理
-
使用更复杂的数据集
比如添加数据（很有效，但不一定做得到）、数据增强等方法。
-
使用更简单的模型（不是根本方法）
可能是模型过于复杂导致了过拟合，因此可以简化模型缓解过拟合。
-
正则化（Regularization）
正则化可能会使Bias增大，所以需要调整正则化的参数。
如\(L_{new}=L_{old}+\lambda \sum(w_i)^2\)，其中\(\lambda\)是一个常数。
加上正则项\(\lambda \sum(w_i)^2\)的目的是让函数参数的值尽可能地接近0，使函数变得更平滑。
平滑（Smooth）
定义
平滑是指输入变化影响输出变化的程度（输出对输入的敏感程度）。
假设输入变化，如果函数越不平滑，则输出变化程度越大。
函数参数越接近0，这个函数就越平滑（smooth）。
我们为什么喜欢一个平滑的函数？
适度平滑的函数可以缓解函数输入中包含的噪声对函数输出的影响。
如果输入中包含一些噪声/干扰（noise），那平滑函数的输出受输入中包含的噪声干扰的程度更小。
我们为什么不喜欢过于平滑的函数？
函数过于平滑，就无法有效地提取数据的特征，这不是我们想要的函数。
假设有一个极限平滑的函数，即该函数的输出不受输入的影响，那当然不是个好的函数。
Github（github.com）：@chouxianyu
Github Pages（github.io）：@臭咸鱼
知乎（zhihu.com）：@臭咸鱼
博客园（cnblogs.com）：@臭咸鱼
B站（bilibili.com）：@绝版臭咸鱼
微信公众号：@臭咸鱼的快乐生活
转载请注明出处，欢迎讨论和交流!
