机器学习实战-机器学习概览部分

在线学习：与批量学习不同，在线学习系统可以进行增量学习，快速适应不断变化的数据和自动系统，能够处理大量数据。

核外学习：数据量太大内存无法一次性容纳，分批进行学习，采用线上学习。

机器学习的挑战：数据集的缺乏，质量问题，数据代表性不足，数据量不足。

train-dev集：训练集和测试集分布有差异，所以验证的时候，用验证集和train-dev集来验证（train-dev集不进行训练）

用测试集来调参会出现什么问题：评估模型会过拟合，泛化误差过于乐观。