支持向量机之数学理论知识（一）

支持向量机(Support Vecor Machine,以下简称SVM)虽然诞生只有短短的二十多年，但是自一诞生便由于它良好的分类性能席卷了机器学习领域，并牢牢压制了神经网络领域好多年。如果不考虑集成学习的算法，不考虑特定的训练数据集，在分类算法中的表现SVM说是排第一估计是没有什么异议的。

参考

https://blog.csdn.net/feilong_csdn/article/details/62427148 支持向量机（SVM）必备知识(KKT、slater、对偶）

1.数学基础：凸二次优化、拉格朗日乘子法, 拉格朗日对偶、KKT条件、鞍点

 1.1 凸优化

https://blog.csdn.net/subtlefe/article/details/78662354

在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件

1.2.拉格朗日乘数法（Lagrange Multiplier）

 

1.3. KKT条件（Karush Kuhn Tucker）

1.4.拉格朗日对偶性 Lagrange duality

 

1.5 鞍点