初识机器学习——吴恩达《Machine Learning》学习笔记（六）
Logistic回归
分类(Classification)
如垃圾邮件和非垃圾邮件、肿瘤的良性和恶性等，分类一般有二分类以及多分类问题。
0，一般解析为没有某样东西；1，一般解析为拥有某样东西。至于正类和负类，视具体情况而分。
不推荐将线性回归用于分类问题。
Logistic回归，介于0和1之间，视为一种"分类算法"。
假设陈述(Hypothesis Representation)
Logistic回归模型
P(y=1|x;o)表示当x=o时，y=1的概率，P(y=1|x;o) + P(y=0|x;o) = 1,即P(y=0|x;o) = 1 - P(y=1|x;o)
决策界限(Decision boundary)
决策边界的概念，决策边界是假设函数的属性，而不是数据集的特征。因为一开始选择Sigmoid函数的时候，函数里面就带了边界特征。
代价函数(Cost Function)
对于logistic回归，之前线性回归的代价函数已经不能再适用了。因为经过代换后的代价函数，是一个非凸函数，难以找到全局最优解。因此，需要更换代价函数。重新定义代价函数，使其为凸函数，以便使用梯度下降法求最优。
Logistic回归的代价函数及y=1时的函数图像
Logistic回归的代价函数及y=0时的函数图像
简化代价函数与梯度下降(Simplified cost function and gradient descent)
Logistic回归代价函数的简化
跟线性回归一样，可以使用特征缩放，对Logistic回归进行缩放
高级优化(Advanced optimization)
梯度下降算法并不是唯一的寻求最优解的算法，还有高级优化算法，如共轭梯度算法（Gradient descent)、BFGS、L-BFGS，他们的优点是：不需要手动选择学习率，比梯度下降法更加快，缺点是：更加地复杂。
使用Octave调用高级优化算法
步骤解析
多元分类：一对多(Multi-class classification One-vs-all)
把m个分类中每个类别看做与其他类别不同，做二元分类
