如何解决过拟合

什么是过拟合

• 就是模型过于复杂
• 在训练集合上过度拟合
• 随着模型越来越复杂，在 test set 上面的 error 会呈现先下降后上升的趋势。
• 造成在 training set 上的表现比 test set 上面好。

 

解决思路

• 简化模型
  • 减少特征
  • 减小参数
    • 正则化
    • dropout
    • 减小参数的意义：
      • overfitting 意味着每个点都进行拟合，那势必这条曲线在一段区域内，变化显著，即导数值很大。而 weight 可以近似看做某段区域的导数值。
  • 　　减少训练轮数：early stop

• 增加数据量
  • “增加眼界”
  • 推荐系统里面就是增加训练集参数
  • CV 里面还可以 data augmentation，旋转跳跃我闭着眼~

• 改善评估手段
  • cross validation，例如 k-fold，将同一份数据分成 m 组，每个组 k 份，每次用不同的 1/k 份来进行验证，其他数据训练。
  • 疑问：像排序系统，会不会有数据穿越的问题。因为像 prerank 模型，uid 也是一组特征。如果我见过未来某用户的click history里面有过去的 eid，会不会帮助我们预测过去。

 

Q: L1, L2 为什么可以防止过拟合

• 什么是正则化
  • 在 loss 函数后加一个正则化项，weight的绝对值或是平方项。
• 从定义角度就能看出，minimize loss 的同时也要  minimize weight 大小。
• 从 gradient descent 角度：
  • L1 正则化，对于 wi > 0，则导数为1 ，wi < 0，则导数为 -1。
  • L2 正则化，导数为 2lamda*wi。
  • 想象成 gradient descent，更新是减去 gradient，那么 wi> 0 则会越来越小。针对 wi < 0，则会越来越大。都在向 0 靠近。
  • 但 L1 比 L2 特殊点在于 w = 0，是函数不可导点。为函数最小值。因此 L1 更容易产生稀疏性。

 

dropout 相关

• 为什么
  • 防止过拟合，即在训练集合上损失比较小，在测试集合上损失比较大。
  • 起到一定的正则化的作用
• 怎么做
  • 在每个批次的训练过程中，以一定的概率，随机使某些神经元的输出值为0。服从伯努利分布。
  • 由于改变了这个输出神经元的个数，需要对输出进行缩放。1/(1-p)。 
  • rescale 也可以选择在测试的时候做，就每个神经元都乘以 p。在预测的时候会影响之后的每一层，因此主流做法都是用前一种。
  • 

    

     

• 为什么能起到过拟合的作用
  • 针对单个神经元来说，它看不到所有的数据，所以模型结构发生了改变。相当于在N个模型取平均的结果。
  • 针对多个神经元来说，它们不保证同时出现，也就避免某些特征必须在其他特征有的时候才起作用。迫使模型丢失一些特征，也能学到信息。