机器学习-二次规划
1、概念解释
(1)什么是半正定矩阵?
半正定矩阵是指一个方阵(即行数等于列数的矩阵),满足以下条件之一:
- 对于任意非零向量x,都有x^T * A * x ≥ 0,其中 A 表示该矩阵的转置。
- 所有特征值(eigenvalue)都大于或等于零。
简单来说,一个半正定矩阵的特点是它的所有特征值非负,或者说它与单位矩阵相似(similar)。
(2)什么是凸二次优化?
凸二次优化是指一个优化问题,其中目标函数是凸二次函数,约束条件也是一些凸函数。具体形式可以表示为:
最小化 f(x) = (1/2) * x^T * P * x + q^T * x + r 满足 G * x ≤ h A * x = b
其中,x 是优化变量,P 是一个对称正定矩阵,q 和 r 是向量,G 和 A 是矩阵,h 和 b 是向量。
凸二次优化问题的特点在于目标函数和约束条件都是凸函数。凸函数具有良好的性质,例如局部最小值就是全局最小值,因此凸二次优化问题具有较好的求解性质。
(3)什么是非凸二次优化?
非凸二次优化是指一个优化问题,其中目标函数是非凸二次函数,或者约束条件中存在非凸函数。具体形式可以表示为:
最小化 f(x) = (1/2) * x^T * P * x + q^T * x + r 满足 G * x ≤ h A * x = b
其中,x 是优化变量,P 是一个对称矩阵,q 和 r 是向量,G 和 A 是矩阵,h 和 b 是向量。
与凸二次优化不同的是,非凸二次优化问题的目标函数或约束条件中至少存在一个非凸函数。非凸函数的特点是具有多个局部最小值,因此非凸二次优化问题的求解更加困难。由于问题的非凸性质,不存在通用的求解方法能够保证全局最优解的获取。因此,求解非凸二次优化问题通常需要使用启发式算法、近似算法或者局部搜索等方法。
(4)什么是正定矩阵?
正定矩阵是指一个对称矩阵,满足以下条件:
- 所有的特征值(eigenvalue)都大于零。
- 对于任意非零向量x,都有x^T * A * x > 0,其中 A 表示该矩阵的转置。
正定矩阵具有一些重要的性质:
- 它的所有主子阵(submatrix)的特征值都大于零。
- 它可以唯一地进行 Cholesky 分解,即将其分解为一个下三角矩阵和其转置的乘积。
- 它的逆矩阵也是正定矩阵。
2、基本演算