【吴恩达机器学习笔记】9.1-Logistic 回归的梯度下降

使用同步更新来执行更新的办法 罗杰斯特回归的梯度下降

这张图片展示了逻辑回归中的梯度下降算法。逻辑回归是一种广泛使用的分类算法，它使用一个逻辑函数来预测事件发生的概率。梯度下降是一种优化算法，用于最小化损失函数，从而找到最佳的模型参数。

图片中的内容可以分为几个部分：

1. 梯度下降的迭代更新公式：

   • 对于权重 ( w_j ) 的更新公式是：
     [
     w_j = w_j - \alpha \left[ \frac{1}{m} \sum_{i=1}^{m} (f_{\mathbf{w},b}(\mathbf{x}^{(i)}) - y^{(i)})x_j \right]
     ]
   • 对于偏置 ( b ) 的更新公式是：
     [
     b = b - \alpha \left[ \frac{1}{m} \sum_{i=1}^{m} (f_{\mathbf{w},b}(\mathbf{x}^{(i)}) - y^{(i)}) \right]
     ]
     其中，( \alpha ) 是学习率，( m ) 是样本数量，( f_{\mathbf{w},b}(\mathbf{x}^{(i)}) ) 是逻辑回归模型的预测值，( y^{(i)} ) 是实际值，( x_j^{(i)} ) 是第 ( i ) 个样本的第 ( j ) 个特征。

2. 逻辑回归与线性回归的对比：

   • 线性回归的预测函数是：
     [
     f_{\mathbf{w},b}(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b
     ]
   • 逻辑回归的预测函数是：
     [
     f_{\mathbf{w},b}(\mathbf{x}) = \frac{1}{1 + e^{-(\mathbf{w} \cdot \mathbf{x} + b)}}
     ]

3. 梯度下降的相同概念：

   • 监控梯度下降（学习曲线）
   • 向量化实现
   • 特征缩放

双语对照翻译：

• Gradient descent for logistic regression: 逻辑回归中的梯度下降
• repeat: 重复
• looks like linear regression!: 看起来像线性回归！
• simultaneous updates: 同时更新
• Same concepts: 相同的概念
• Monitor gradient descent (learning curve): 监控梯度下降（学习曲线）
• Vectorized implementation: 向量化实现
• Feature scaling: 特征缩放
• Linear regression: 线性回归
• Logistic regression: 逻辑回归
  
  梯度下降的实现；
  
  
  
  梯度下降的最后结果是损失/成本函数，也就是最后逻辑回归误差loss最小的函数，可见输入数据集和函数几乎相贴，其相距距离也就是loss损失，梯度下降得到w，b，此时在该算法中得到最佳的逻辑回归函数