人工智能之机器学习基础——梯度

梯度（Gradient） 是多变量函数中表示变化率和方向的一个基本概念，在优化问题和深度学习中非常重要。它描述了函数在某一点的变化趋势，指向该点函数值增长最快的方向。

 

 

 

 

梯度和导数的关系

 梯度和导数的应用场景

 梯度与导数的区别

特性	导数	梯度
适用范围	一元函数	多元函数
表示形式	标量（一个值）	向量（包含多个值）
描述的内容	函数在某点的变化率	函数在某点沿不同方向的变化率
几何意义	函数图像在某点的切线斜率	等值面的法向量
应用场景	一维优化、物理学	高维优化、深度学习、物理学

 

梯度下降的实例

 

 

 

分析梯度下降过程

1. 梯度逐步变小：

   • 每次迭代后，梯度 ∇J(x)的绝对值在减小，说明我们逐渐接近最优解。
   • 第一次迭代：∇J(x₀)=−6；
   • 第二次迭代：∇J(x₁)=−4.8，绝对值依次递减。

2. 函数值逐步下降：

   • 每次迭代后，函数值 J(x)都在减小。
   • 初始时 J(0)=9，到 t=4 时，已经下降到 J(2.01696)=0.9663。

3. 逐步收敛到最优解：

• 理论上，当 t→∞ 时，x_t→3。

 

• 梯度 是函数变化的方向和速率。
  • 一元函数：梯度是导数，本质是标量。
  • 多元函数：梯度是向量，每个分量是对应自变量的偏导数。
• 梯度下降 的公式对一元和多元情况通用：
  • 一元情况下：标量更新；
  • 多元情况下：向量更新。
• 在机器学习优化中，使用“梯度”描述优化过程能够统一处理各种维度的目标函数。