逻辑回归中交叉熵损失函数的梯度推导

我们首先定义损失函数和模型预测的形式。对于二分类逻辑回归，模型预测使用sigmoid函数，即：

$${\hat{y}}_i=\sigma (z_i)=\frac{1}{1+e^{-z_i}}$$

其中，$z_i=X_i\cdot \theta$是模型对第$i$个样本的线性预测，$X_i$是样本的特征向量，$\theta$是模型参数。

对于单个样本的交叉熵损失，我们有：

$$L(y_i,{\hat{y}}_i)=-[y_i\log ({\hat{y}}_i)+(1-y_i)\log (1-{\hat{y}}_i)]$$

整个数据集上的平均损失为：

$$J(\theta )=-\frac{1}{N}\sum _{i=1}^N[y_i\log ({\hat{y}}_i)+(1-y_i)\log (1-{\hat{y}}_i)]$$

为了找到最小化损失函数$J(\theta )$的参数$\theta$，我们需要计算$J(\theta )$关于$\theta$的梯度。首先计算${\hat{y}}_i$关于$z_i$的导数：

$$\frac{d{\hat{y}}_i}{d{z}_i}=\frac{d}{d{z}_i}\left(\frac{1}{1+e^{-z_i}}\right)={\hat{y}}_i(1-{\hat{y}}_i)$$

然后，我们将损失函数对$z_i$求导：

$$\frac{\partial L(y_i,{\hat{y}}_i)}{\partial z_i}=\frac{\partial L(y_i,{\hat{y}}_i)}{\partial {\hat{y}}_i}\cdot \frac{d{\hat{y}}_i}{d{z}_i}=-(\frac{y_i}{{\hat{y}}_i}-\frac{1-y_i}{1-{\hat{y}}_i})\cdot {\hat{y}}_i(1-{\hat{y}}_i)=-y_i(1-{\hat{y}}_i)+(1-y_i){\hat{y}}_i={\hat{y}}_i-y_i$$

接下来，我们利用链式法则计算$J(\theta )$关于${\theta }_j$的导数：

$$\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{1}{N}\sum _{i=1}^N({\hat{y}}_i-y_i)x_{ij}$$

因此，整个参数$\theta$的梯度向量为：

$${\mathrm{\nabla }}_{\theta }J(\theta )=\frac{1}{N}{X}^T\cdot (\hat{y}-y)$$

其中，$X$是包含所有样本特征的矩阵，$\hat{y}$是模型预测值的向量，$y$是真实标签的向量。

这就是梯度下降更新参数$\theta$时使用的梯度表达式，用于指导如何调整$\theta$以减少损失函数$J(\theta )$的值。