吴恩达《机器学习》第六章：逻辑回归

文章目录

• 六、逻辑回归
• • 6.1 Sigmoid 函数
  • 6.2 决策边界
  • • 6.2.1 线性决策边界
    • 6.2.2 非线性决策边界
  • 6.3 代价函数
  • 6.4 高级优化
  • 6.5 多类别分类

六、逻辑回归

逻辑回归：Logistic Regression，一种广义的线性回归，其因变量可以是二分类的；

       ~~~~~~       如果直接对二分类问题应用线性回归，效果并不理想，因为线性回归输出的是离散值，而不是一个用于分类的0，1值；

       ~~~~~~       二分类问题的结果只可能有两种，y=0 or 1，而我们线性回归的h_θ(x)能够取到一些无法确定的值，比如>1 or <0；所以，必须要有一个以用于二分类问题的 Logistic 回归算法，使h_θ(x)的取值在 [0,1] 中，Logistic算法专门用于解决分类问题；

6.1 Sigmoid 函数

使用Sigmoid函数将h_θ(x)输出的离散值转化成 [0,1] 范围；

6.2 决策边界

6.2.1 线性决策边界

Decision Boundary

只要θ^Tx>=0，即x₀+θ₁x₁+θ₂x₂>=0，那么h_θ(x)>=0.5；

6.2.2 非线性决策边界

6.3 代价函数

       ~~~~~~       逻辑回归的代价函数和线性回归的有所不同，因为它由sigmoid函数，是一个非线性函数，所以会遇到很多个局部最优解；

引入逻辑回归中代价函数的惩罚机制；


这是一个样本的惩罚，而cost函数返回每个样本平均得到的惩罚，它会是一个凸函数，不存在局部最优解；

简化代价函数与梯度下降:
对分段函数做出变换：

这个代价函数是从统计学中的极大似然法中得到的，它是凸函数，一般会选择它作为逻辑回归的代价函数；

6.4 高级优化

• Conjugate gradient
• BFGS
• L-BFGS

不需要选择学习率；收敛速度远快于梯度下降；同时也更复杂；

6.5 多类别分类

一对多的分类算法；
多分类 -> 多个二分类；

每个分类器都针对其中的一种情况进行训练；
比如：

       ~~~~~~       最后输入x，选择三个分类器中可信度最高，效果最好的那个分类器，无论i值为多少我们都能得到一个较好的值，所预测的y值就是这个值；