凸优化
内积
定义在n维实向量集合Rn上的标准内积为，对任意的x,y∈Rn，
<x,y>=xTy=∑i=1nxiyi
采用符号
xTy代替
<x,y>。向量
x∈Rn的Euclid范数，或
l2-范数，定义为
∥x∥2=(xTx)12=(x21+⋯+x2n)12
对于任意的
x,y∈Rn，Cauchy-Schwartz不等式是
|xTy|⩽∥x∥2∥y∥2。两个非零向量
x,y∈Rn之间（无符号）的夹角定义为
∠(x,y)=arccos(xTy∥x∥2∥y∥2)
其中，我们取
arccos(u)∈[0,π]。
定义在m×n实矩阵集合Rm×n上的标准内积为，对任意X,Y∈Rm×n
<X,Y>=tr(XTY)=∑i=1n∑j=1nXijYij
上确界和下确界
假定C⊆R。如果对每一个x∈C成立x≤a则称a是C的上界。C的上界组成的集合或者是空集（此时称C无上界），或者等于R（仅当C=∅，或者是闭的无限区间[b,∞)。我们称b为C的最小上界或上确界，用supC表示。我们规定sup∅=−∞，当C无上界时取supC=∞。当supC∈C时，我们说C的上确界是可达的。
类似地，我们可以定义下界和下确界。如果对每一个x∈C成立a≤x则称a是C的下界。C∈R的下确界（或最大下界）定义为infC=−sup(−C)。我们规定inf∅=∞，并在C无下界时，取infC=−∞。
基本的矩阵-向量运算成本
向量运算
为了完成两个向量x,y∈Rn的内积运算xTy，我们要先计算乘积xiyi然后将它们相加，这需要n次乘法和n−1次加法，或者2n−1次浮点运算。如上所述，我们只保留主导项，称内机运算需要2n次浮点运算。标量-向量乘积αx，其中α∈R,x∈Rn，耗费n次浮点运算。两个向量的加法也耗费n次浮点运算。如果向量x和y时稀疏的，这些基本运算可以更快地完成（如果向量用恰当的数据结构存储）。
矩阵-向量相乘
矩阵-向量相乘y=Ax，其中A∈Rm×n，成本为2mn次浮点运算：我们必须算y的m个分量，每个分量是A的行向量和x的乘积，即两个Rn向量的内积。利用A的结构经常可以对矩阵-向量相乘运算进行加速，如果A是稀疏矩阵，仅有（总数为mn中的）N个非零元素，那么只需要2N次浮点运算就可以确定Ax。
矩阵-矩阵相乘
矩阵-矩阵相乘C=AB，其中A∈Rm×n，B∈Rn×p，需要2mnp次浮点运算。因为我们需要计算C的mp个元素，而每个元素是两个长度为n的向量的内积。同样，经常可以利用A和B的结构大幅度节省计算量。
符号
一些特殊的集合
| 符号 |
意义 |
| R |
实数 |
| Rn |
实n−维向量（n×1矩阵） |
| Rm×n |
实m×n矩阵 |
| R+,R++ |
非负、正实数 |
| C |
复数 |
| Cn |
复n−维向量 |
| Cm×n |
复m×n矩阵 |
| Z |
整数 |
| Z+ |
非负整数 |
| Sn |
对称n×n矩阵 |
| Sn+,Sn++ |
对称半正定、正定n×n矩阵 |
向量和矩阵
| 符号 |
意义 |
| 1 |
所有分量为1的向量 |
| ei |
第i个标准基分量 |
| I |
单位矩阵 |
| XT |
矩阵X的转置 |
| XH |
矩阵X的Hermitian（复共轭）转置 |
| trX |
矩阵X的迹 |
| λi(X) |
对称矩阵X的第i大特征值 |
| λmax(X),λmin(X) |
对称矩阵X的最大、最小特征值 |
| σi(X) |
对称矩阵X的第i大奇异值 |
| σmax(X),σmin(X) |
对称矩阵X的最大、最小奇异值 |
| X+ |
矩阵X的Moore-Penrose逆或伪逆 |
| x⊥y |
向量x和y正交：xTy=0 |
| V⊥ |
子空间V的正交补 |
| diag(x) |
对角元素为x1,⋯,xn的对角矩阵 |
| diag(X,Y,⋯) |
对角块为X,Y,⋯的分块对角矩阵 |
| rankA |
矩阵A的秩 |
| R(A) |
矩阵A的值域 |
| N(A) |
矩阵A的零空间 |
范数和距离
| 符号 |
意义 |
| ∥⋅∥ |
范数 |
| ∥⋅∥∗ |
范数∥⋅∥的对偶范数 |
| ∥x∥2 |
向量x的Euclid（或l2-）范数 |
| ∥x∥1 |
向量x的l1-范数 |
| ∥x∥∞ |
向量x的l∞-范数 |
| ∥X∥2 |
矩阵X的谱范数（最大奇异值） |
| B(c,r) |
以c为中心r为半径的球 |
| dist(A,B) |
集合（或点）A和B之间的距离 |
广义不等式
| 符号 |
意义 |
| x⪯y |
向量x和y之间的分量不等式 |
| x≺y |
向量x和y之间的严格分量不等式 |
| X⪯Y |
对称矩阵X和Y之间的矩阵不等式 |
| X≺Y |
对称矩阵X和Y之间的严格矩阵不等式 |
| x⪯Ky |
由正常锥K导出的广义不等式 |
| x≺Ky |
由正常锥K导出的严格广义不等式 |
| x⪯K∗y |
对偶广义不等式 |
| x≺K∗y |
对偶严格广义不等式 |
拓扑与凸分析
| 符号 |
意义 |
| cardC |
集合C的基数 |
| intC |
集合C的内部 |
| relintC |
集合C的相对内部 |
| clC |
集合C的闭包 |
| bdC |
集合C的边界：bdC=clC∖intC |
| convC |
集合C的凸包 |
| affC |
集合C的仿射包 |
| K∗ |
K的对偶锥 |
| IC |
集合C的示性函数 |
| SC |
集合C的支撑函数 |
| f∗ |
f的共轭函数 |
概率
| 符号 |
意义 |
| EX |
随机向量X的期望值 |
| probS |
事件S的概率 |
| varX |
标量随机变量X的方差 |
| N(c,∑) |
均值为c、协方差（矩阵）为∑的高斯分布 |
| Φ |
随机变量N(0,1)的累积分布函数 |
函数和导数
| 符号 |
意义 |
| f:A→B |
f是从集合domf⊆A到集合B的函数 |
| domf |
函数f的定义域 |
| epif |
函数f的上境图 |
| ∇f |
函数f的导数 |
| ∇2f |
函数f的Hessian矩阵 |
| Df |
函数f的导数（Jacobian）矩阵 |
