Practical Optimization读书笔记

由于某种原因，现在开始接触到一些最优化的东西，由于目前没有复杂的情况，选择从最简单的入手，选择了一本书：Practical Optimization ：Algorithm and Engineering Applications，这本书给人的感觉还是比较容易理解，下面是读书过程中的一点收获

1.最优化的过程。这一点是读到现在感觉对原有的冲击最大的，我以前认为的最优化工程就是用各种方法确定函数的值，但是具体是怎么进行的就不清楚了，现在我知道了，一个优化过程x，其实就是不停的获取参数序列x_i+1，x_i+2，x_i+3，。。。，如果能够找到一个确定的解，那么最优就会有一个确定的x*，所以最优化过程就是确定一个可用的参数序列而已。而不同的最优化方法就是如何根据当前的参数x_i获得下一个x_i+1而已。

2.最优化方法的分类，分为基于search和基于gradient的方法，search的方法只需要函数值就可以了，不需要函数可微可导这种，但是gradient就有这个要求。

3.不得不说第5章，看的大快人心啊，以前一直很迷糊的牛顿法很易懂，so easy！