吴恩达机器学习课程笔记5-评估模型和误差分析

10.模型评估

1. 改进模型思路

• 举例房价预测中的线性回归模型，如果误差较大，如何改进模型?
• Get More Examples,减少特征，增加新特征，修改正则化参数
  
• 进行机器学习诊断

2. 模型评估

• 可视化假设函数(可视化评估)
  
• 使用训练数据中的30%提取出来进行评估(数据量化评估)
  
• 损失计算和误差计算两种方式量化
  

3. 模型选则方法：训练(训练模型)，验证(评估同一模型不同参数)，测试(评估不同模型)

• 过拟合
  
• 评估同一模型的不同参数和评估不同模型都用测试数据集，存在的问题是无法体现模型的范化能力
  
• 使用验证数据集评估同一模型不同参数，使用测试数据集评估不同模型。
  
  
• 最后模型选则
  

4. 偏差与方差诊断欠拟合和过拟合

• 欠拟合/过拟合
  
• 误差曲线
  
  

5. 正则化与偏差方差

• 参数的影响
  
• 交叉验证的损失函数
  
• 选择参数
  
• 误差曲线
  

6. 学习曲线
   
   
   
7. 合理选择方案
   
   

11 设计一个机器学习系统会遇到的问题和解决方法

1. 邮件分类实例
   根据邮件中的关键词分类
   
   更进一步检测邮件中故意出现拼写错误
   
2. 误差分析

• 开始于一个简单的模型
  
• 画学习曲线
• 误差分析: 将算法预测错的样本提取出来分析共同特征，然后设计新的特征
  手动分析模型预测错误的样本，分析共同特征
  
• 确定一个评价标准
  

3. 不对称性分类的误差评估

• 偏斜类：正负样本比例悬殊
• 回召率
  

4. Precision and recall 权衡
   准确率: 预测的准确率
   回召率: 召回治疗的准确率
   阈值取0.3会有高回召率和低准确率
   

• F-score
  如何权衡准确率和回召率，
  如均值法，存在一些缺点
  F-score:调和平均数
  

参考

• 视频课程