机器学习-梯度下降法

1、名称解释

（1）什么是无约束优化问题？

　　无约束优化问题是指在给定目标函数的情况下，寻找使目标函数取得最大值或最小值的变量取值，而不受任何约束条件限制的优化问题。

　　具体来说，无约束优化问题可以形式化地表示为以下形式：

　　最小化 f(x)，其中 x 是 n 维向量，f(x) 是一个实值函数，称为目标函数。

　　无约束优化问题的目标是找到一个变量取值 x*，使得 f(x*) 达到最小值（或最大值）。这个取值 x* 称为问题的最优解。

　　在无约束优化问题中，变量 x 的取值可以在整个定义域范围内自由选择，没有任何限制条件。因此，无约束优化问题相对于有约束优化问题更加自由和灵活。

（2）连续可微函数是什么意思？

　　连续可微函数是指在某个区间内连续并且在该区间内的每一点都存在导数的函数。

　　具体来说，如果一个函数f(x)在区间[a, b]内连续，并且在(a, b)内的每个点x处的导数f'(x)都存在，则称f(x)在区间[a, b]内是连续可微的。这意味着函数在该区间内的任何一点x处都有一个切线，也就是函数在该点的导数f'(x)，它们可以用于描述函数在该点的局部行为。

　　连续可微函数通常具有许多好的性质，例如：

• 由于导数的定义，连续可微函数在任何一点x处的导数f'(x)可以用左导数和右导数来表示。
• 连续可微函数的导函数（即二阶导数）也是连续的。
• 连续可微函数在极值点处的导数为零，反之不一定成立。
• 连续可微函数在其定义域内具有局部Lipschitz连续性。

2、基本演算