《统计学习方法》笔记--逻辑回归
逻辑回归模型（logistic regression model）是一种软分类的判别模型，形式为参数化的逻辑斯蒂分布。
二分类的模型定义如下，
对于给定的训练数据集
，其中
，对于模型的参数可以用极大似然估计法来估计。
对数型的似然函数为：
上述的似然函数推导中，可以转换为求损失函数的最小化。而对于求似然函数的极大值，则用梯度下降法来估计
的值进而求得似然函数的极大值。
参考慕课教程，编写逻辑回归的代码及利用sklearn中莺尾花数据集进行测试如下：
图1-1 逻辑回归的代码编写
图1-2 测试
逻辑回归也可以进行多分类任务，利用sklearn中的多分类模块，有oneVSone和oneVSrest两种，oneVSone意味着多分类中的类需要两两进行比较一次，虽比较的次数比较多，但其分类的准确率比较高；而oneVSrest将某一类与其他类作为统一类作比较，虽比较次数大幅度减少，但其分类的准确率相比oneVSone的就要低一些。
