吴恩达Machine Learning学习笔记(三)--逻辑回归+正则化

分类任务

  原始方法:通过将线性回归的输出映射到0~1,设定阈值来实现分类任务

  改进方法:原始方法的效果在实际应用中表现不好,因为分类任务通常不是线性函数,因此提出了逻辑回归

逻辑回归

假设表示--引入sigmoid函数g

  

  sigmoid函数将输出映射到区间(0,1),可以看作是概率

损失函数

  

多分类

  训练多个逻辑回归二分类器,对新的样本取预测概率最高的一个类别

欠拟合与过拟合

  欠拟合:高偏差,模型没有很好地捕捉到数据的结构,通常是因为模型太简单,使用特征太少

  过拟合:高方差,可以很好地拟合可用数据,但泛化能力很差,通常是因为采用了冗余的特征  

  解决过拟合:(1)减少不重要的特征数(2)使用正则化方法,降低参数变量theta的幅值

正则化损失函数

  线性回归:

  逻辑回归:

 

posted @ 2018-08-26 12:12  Dreamens  阅读(441)  评论(0编辑  收藏  举报