Lecture 2 -- General Guidance
1. 机器学习任务攻略
2. Model Bias or Optimization Issue?
- Model Bias是指模型太简单了，模型的弹性不够大，我们想要找到的能使训练集loss低的function根本不在function set中(就好比大海捞针，但针不在大海中)，或者说即使在这个function set中找到了能使训练集loss低的function，其效果也很差
- 如果模型的复杂程度足够，模型的弹性也足够大，能使得训练loss低的function存在于function set中，但是我们却始终无法找到这个function(就好比针在大海中，但是我们无法找到它)，这就说明是Optimization不够给力，这时候我们就需要调整优化算法
- 针对Model Bias的问题，通常的解决方法是重新设计模型，使模型更加有弹性，比如使用更多的特征，增加Layer和Hidden_Size等
3. Overfitting & How to Solve?
（1）过拟合是指训练集的损失很低，而测试集的损失很高
（2）过拟合造成的原因一般是模型的弹性太大
⭐解决方案：
方案一：增加训练数据 (More training data) -- 依靠训练数据的增加来限制模型的弹性
(1) 自己搜集更多的数据
(2) 数据增强 (Data augmentation)
方案二：直接限制模型的弹性(Constrained model)
(1) Less parameters, sharing parameters
(2) Less features
(3) Early stopping
(4) Regularization
(5) Dropout
4. N-fold Cross Validation
(1) 确定最好的模型架构后，重新将所有的训练数据丢进模型中进行训练，然后再进行测试！⭐
(2) 目的是为了避免数据划分对结果产生较大的影响！
5. Mismatch
- 训练数据和测试数据的分布不同，这依赖于个人对数据的理解！
END
