写作回归用作分类：逻辑回归/对数几率回归/Logistic Regression

自问自答 1

1.逻辑回归是什么？对数几率回归又是什么？

逻辑回归中的回归用的是线性回归，我们通过使用一个联系函数（link function）或者称为假设函数（hypothesis function），将模型线性回归得到的结果通过这个link function转换为形式上的概率数值。

二分类的话，link function使用的是sigmoid函数；对于多分类，使用softmax函数。

逻辑回归也叫做对数几率回归，因为可以写成 $ln\frac{y}{1-y}$ 这种形式；

2.逻辑回归解决什么问题？

可以将机器学习中的监督学习算法分为两大类：分类和回归；

逻辑回归，也是一个蛮有意思的算法，写作回归用作分类。

我们可以用logistic regression解决二分类问题--二项逻辑回归；解决标签/类别在三个及三个以上的分类问题--多项逻辑回归。多项逻辑回归就是逻辑回归的一般形式。

3.逻辑回归的损失函数（对数似然函数）

先写似然函数，再求对数，最小化损失函数==最大化似然函数

为什么最小化损失函数==最大化似然函数？

从最大似然估计的思想出发，最大似然估计：对于给定的样本/观测，我们希望能从参数空间中找到能够最大概率生成该观测的参数作为估计的结果

<别搞混，估计的是参数。样本给出，估计参数。>

记不住看手写过程！

4.逻辑回归中的参数求解方法有哪些？--梯度下降算法的求解过程

sklearn中Logistic Regression中参数solver中提供的还有其他求解算法。

常用的随机梯度下降算法：一句话总结梯度下降。

梯度下降算法用来求解模型参数，目的是求解出模型损失函数最小时对应的参数，它的做法是：沿着梯度向量的反方向，即梯度下降最快的方向去更新参数，不断迭代，逐渐接近损失函数的最小值，从而找到最优的参数值。

具体步骤：

1. 选择初始参数值： 选择一组初始的参数值（例如，随机选择或者使用某些启发式方法）。

2. 计算损失函数的梯度： 计算当前参数值下损失函数关于每个参数的偏导数，得到梯度向量。梯度表示了损失函数在当前参数值处的变化方向。

3. 更新参数： 根据梯度信息，更新参数值。梯度下降有两种变种：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）和小批量梯度下降（Mini-batch Gradient Descent）。更新规则可以表示为：

   $\theta :=\theta -\alpha \mathrm{\nabla }J(\theta )$

   其中，$\alpha$ 是学习率，$\mathrm{\nabla }J(\theta )$ 是损失函数关于参数的梯度。

4. 迭代： 重复步骤2和步骤3，直到满足停止条件，例如达到最大迭代次数、损失函数变化小于某个阈值等。

梯度下降的目标是通过反复迭代，逐渐接近损失函数的最小值，从而找到最优的参数值。学习率 $\alpha$的选择很关键，过小的学习率会导致收敛速度过慢，而过大的学习率可能导致无法收敛，甚至发散。

需要注意，梯度下降可能陷入局部最小值，而不是全局最小值。为了解决这个问题，有时候可以使用随机梯度下降，或者采用更复杂的优化算法，如Adam、Adagrad等。

5.sigmoid、softmax函数是什么？

“将实数转换为向量”

sigmoid函数是一类形为S的函数，在二项逻辑回归中通常使用的是$h(x)=\frac{1}{1+e^x}$，将线性拟合后的输出映射为概率$h_{\theta }(x)=\frac{1}{1+e^{\theta x}}$， 取值范围在（0，1）之间，取不到0，1.

更一般的，softmax函数将预测结果变换为非负数并且总和为1，同时让模型保持可导的性质。

softmax函数将实数向量转换为概率向量，且各个概率之和为1；$x_i$可看做第i个类别上的输出，共n个类别；

$softmax(x_i)=\frac{e^{x_i}}{\sum _{j=1}^n{e}^{x_i}}$

6.手写逻辑回归模型

奖励你在纸上写一遍！