数学基础
(原创文章，转载请注明出处！)
范数（Norm）
映射||•|| ：Rn→R称为Rn上的半范数，当且仅当：
（1） ||x|| ≥ 0，∀x∈Rn
（2） ||αx|| = |α| ||x||，∀α∈R, x∈Rn
（3） ||x + y|| ≤ ||x|| + ||y||，∀x,y∈Rn
如果映射还满足：
（4） ||x|| = 0 ↔ x = 0
则称||•||为Rn上的范数。
常用向量范数：
||x||∞=max|xi|，（l∞范数）
||x||1=Σ|xi|， （l1范数）
||x||2=(Σxi2)1/2， （l2范数），可以直观的理解为到原点的距离。
开集（Opent Set）
集合中的任意一点都能找到一个邻域，这个邻域还属于此集合，则称此集合为开集。
凸集（Convex Set）
集合A是一个凸集，那么对A中的任意两个点x、y，存在一个实数t，且 0 ≤ t ≤ 1，使得tx+(1-t)y还在集合A中。
图中左侧集合为凸集
凸集中任意两点的连线依然被包含在该集合中。
实例：{ x | ||x||2≤3 } ，一个圆，凸集
{ x | 2 ≤ ||x||2≤3 } ，一个圆环，非凸集
超平面（Hyperplane）
超平面是一个点的集合，X={x | c,x = z}， c是一个非零向量，z是一个标量。超平面将所有的点分成两部分： c,x ≤ z，和c,x ≥ z 。
实例：c=(1, 1)，x=(x1, x2)，z=2 → x1+x2=2
c=(1, 2,3,4,5)，x=(x1, x2, x3, x4, x5)，z=1 → x1+2x2+3x3+4x4+5x5=1
一个超平面被称为一个凸集X在点w（w∈X）的支撑，如果：c,w = z ， 且 X与超平面没有其他交点（全部位于超平面的某一侧）。
注意：支撑不等同于相切。
凸函数（Convex Function）
B为凸函数
连接函数曲线上任意两点的弦不在曲线的下方。凹函数与之相反。
f(x)为凸函数，则 -f(x) 为凹函数。
凸函数的定义域是凸集，或者凸函数是定义在凸集上的函数。
凸函数不一定是连续可导的。
超平面可以认为既凸又凹。
x3分成两部分，一部分凸，一部分凹。
正定矩阵 （Positive Definite Matrix）
（1） 矩阵H是方阵，n-by-n
（2） 矩阵H对称， H' = H
（3） 矩阵H使得x'Hx ≥0，x为n维列向量且x≠0（x'H的结果为n维行向量，与n维列向量x再做内积，结果为标量）
称矩阵H为半正定矩阵。
如果条件（3）中等号不成立，即 x'Hx > 0，则称矩阵H为正定矩阵。
x'Hx实例：
x=(x1 x2 x3)', 
, 则
x'Hx=（ x1+2x2+x3 2x1+2x2+x3 x1+x2+3x3 ） • (x1 x2 x3)'
=x12+2x1x2+x1x3 + 2x1x2+2x22+x2x3 + x1x3+x2x3+3x32
=x12+2x22+3x32+ 4x1x2+ 2x2x3 + 2x1x3
实际上是向量x的二阶多项式。矩阵H中的各个元素对应的就是二阶多项式的系数，如：x1x2的系数4= 2 + 2 = h12+h21，x32的系数为h33。
x'Hx > 0, 即：x12+2x22+3x32+ 4x1x2+ 2x2x3 + 2x1x3 > 0，说明无论向量x取什么值，二阶多项式值总是大于0.
梯度 （Gradient）
，一阶偏导数。
例子：f(x) = x12+x22
Hessian矩阵
，二阶偏导数。
接上面的例子，
Hessian矩阵是对称半正定阵。
泰勒展开 （Taylor）
用多项式来逼近函数。f(x)在某个开区间(a, b)上具有n+1阶导数，x0∈(a, b)，对任意的x∈(a, b)，有：
实例：
省略掉余数项，
鞍点（Saddle Point）
点（x0, y0）是函数f(x, y)的鞍点，那么存在ε>0，使得所有x，y，||x-x0||<ε, ||y-y0||<ε，有：
f(x,y0) ≤ f(x0, y0) ≤ f(x0, y)
，点（x0, y0）对 函数f(x, y)来说，在一个方向上是最大值点，另一个方向上是最小值点。
矩阵的秩(Rank)
最高阶非零子式的阶数。
可逆矩阵（invertible matrix）的秩等于矩阵的阶数，是满秩矩阵。
不可逆矩阵（奇异矩阵，singular matrix）称为降秩矩阵。
正交
当两个向量的内积为0，则称这个两个向量正交。如：x=[1,0] , y=[0,1] ， x与y正交。
在二维、三维空间里，可以直观的想象为垂直（夹角90°）。
矩阵的迹(Trace)
对角线元素之和。
