摘要：
最小二乘问题是回归分析、最优控制以及许多参数估计和数据拟合方法的基础。它具有许多统计解释，例如，给定线性测量受到高斯测量误差的干扰下的向量 ( x ) 的最大似然估计。 将一个优化问题识别为最小二乘问题是直接的；我们只需要验证目标是一个二次函数（然后检验相关的二次型是否为正半定）。尽管基本的最小二乘 阅读全文
摘要：
1. 标量对矩阵的求导 考虑一个标量函数 \(f(A)\)，其输入是一个 \(m \times n\) 矩阵。函数关于矩阵的导数定义为： \[\frac{\partial f}{\partial A} = \begin{bmatrix} \frac{\partial f}{\partial A_{1 阅读全文
摘要：
范数是一个函数，它给每个向量分配一个非负的实数值，通常被视为向量的“大小”或“长度”。在数学、特别是线性代数和函数分析中，范数被广泛使用。 范数的属性： 非负性：对于所有的向量 ( x )，范数 ( |x| ) 总是非负的。 齐次性：对于所有的向量 ( x ) 和所有的标量 ( a )，范数 ( | 阅读全文
摘要：
1. 梯度（Gradient） 当我们在多维空间（例如，多个变量的情况）中谈论函数的变化时，我们使用梯度来表示这种变化。梯度是一个向量，其每个分量都是函数关于该分量方向的偏导数。它指向函数增长最快的方向。 2. Hessian矩阵 如果我们不仅对函数如何变化感兴趣，还对函数变化的速率（即，加速度）感 阅读全文
摘要：
A convex optimization problem is one in which the objective and constraint functions are convex, which means they satisfy the inequality \(f_i(\alpha 阅读全文
摘要：
\(\begin{array}{ll}\operatorname{minimize} & f_0(x) \\ \text { subject to } & f_i(x) \leq b_i, \quad i=1, \ldots, m .\end{array}\) As an important exa 阅读全文