机器学习与优化关系、凸集、凸函数简介

                                                                                                                                      ---蔡佳

绪论---学科概述

最优化是从所有可能的方案中选择最合理的一种方案，以达到最佳目标的科学。

达到最佳目标的方案是最优方案，寻找最优方案的方法---最优化方法（算法）。

这种方法的数学理论即为最优化理论。

是运筹学的方法论之一，是其重要组成部分。

基本概念：

在一些例子中，如选址问题等，有的目标函数和约束函数都是线性的，称之为线性规划问题，而有的模型中含有非线性函数，称之为非线性规划。

在线性与非线性规划中，满足约束条件的点称为可行点，全体可行点组成的集合称为可行集或可行域。如果一个问题的可行域是整个空间，则称此问题为无约束问题。

最优化问题可写成如下形式：

凸集与凸函数：

由上可知，任何有界凸集中任一点都可表成极点的凸组合。