机器学习（一）凸优化

本系列文档是根据小象学院-邹博主讲的《机器学习》自己做的笔记。感觉讲得很好，公式推理通俗易懂。是学习机器学习的不错的选择。当时花了几百大洋买的。觉得不能浪费，应该不止一遍的研习。禁止转载，严禁用于商业用途。废话不多说了，开始整理笔记。

首先从凸集及其性质开始，邹博老师在课程里讲得很详细，笔记里就只记录我认为的重点了。

直线的向量表达：

过两定点A(5,1)。B（2,3）

 

 

还能推广到高维：三位平面，超平面。

仿射集 定义：通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集。

像直线、平面、超平面都是仿射集。

凸集 定义：集合C内任意两点间的线段均在集合C内，则称集合C为凸集。

还有K个点的推广版本：

由上面的定义可以知道，仿射集必然是凸集，但凸集不一定是仿射集。

超平面和半空间：

2x+3y-9=0表示直线，可以写成向量的形式

推广开来，超平面可以这样定义：

将等式 写成不等式就得到半空间的概念：

 

下面是二维空间里的例子，当然可以推广到高维的空间里。

下面了解几个保持凸性的运算：

1.集合交算。例如：半空间的交

 

2.仿射变换

f=Ax+b的形式，称函数是仿射的：线性函数加常数的形式。

 

 

3.透视变换

4.投射变换

分割超平面：设C和D为两个不相交的凸集，则存在超平面P可以将C和D分离。

支撑超平面：

如何定义两个集合的“最优”分割超平面?

支撑向量

支持向量机的内容。

 

 *********************************************分割线**************************************************

 凸函数定义：

前面表示是底下部分，后面是上面的直线.

直观的理解就是：线段位于图像上方就是凸函数。

Jensen不等式：函数f是凸函数（基本条件）。

则有基本Jensen不等式：

k个的版本

离散的情况下成立，连续的情况下也成立。

可以看成期望的形式如下：

Jensen不等式几乎是所有不等式的基础。

 保持函数凸性的算子：

凸函数的非负加权和：

 

凸函数与仿射函数的复合：

 

凸函数的逐点最大值、逐点上确界：

N条直线（直线是凸的，直线既是凸的又是凹的），在每个x处取得这些直线的最大点，则构成的新函数是凸函数；

当然，N条直线逐点求下界，得到的新函数是凹函数。

********************************************************分割线*********************************************************

凸优化

优化问题的基本形式：

凸优化问题的基本形式：

凸优化问题的重要性质：

凸优化问题的可行域为凸集

凸优化问题的局部最优即为全局最优解。

对偶问题：

 

 

 

 

 思路整理：

我们的目的：

 

然后约束条件有：

 

 

这样，由④的最大值可以求的①的最小值，达到目的。

并且

 

要想保证取等号，则需要KKT条件。

只做学习用途。欢迎讨论及指正！

可以在新浪微博@徐卜灵 找到我哦。