最优化算法-牛顿法

牛顿搜索算法，参考Edwin《最优化导论》7.5章节，算法采用go语言实现。

/*****************************************
 * FileName  : newton_search.go
 * Author    : fredric
 * Date      : 2017.09.01
 * Note      : 牛顿搜索算法
 * History   :
*****************************************/
package search

import(
    "fmt"
    "math"
)



/*
* 根据泰勒公式，若f(x)在x0点存在高阶导数，则（此处取二阶余子项）
* f(x) = f(x0) + f'(x0)(x - x0) + 1／2 * f''(x0) * (x - x0)
* 此时求解极值的方式转换为求解该泰勒公式的一阶导数何时为0
* 令x = x0 - f'(x0)/f''(x0)
* 此时有x,x0进行迭代，直到xk+1 - xk小于一个阈值

* 迭代的思路：
* 相当于在函数上对xk做一个切线，取这个切线然后取这个切线与x轴的交点，作为xk + 1
* 由于切线是根据函数的导数所做，相当于根据函数的递增或递减趋势来取下一个x k + 1
* 最终的值计算导数的值是否趋向于0
* 因此牛顿方法也应是只针对单峰的函数
*/
func DoNewtonSearch() {
    //计算f(x) = 1/2 * x^2 + sinx
    //f'(x) = x -cosx
    //f''(x) = 1 + sinx

    x0 := 0.5
    x1 := 1.0
    delta := 0.000005

    for math.Abs(x1 - x0) > delta {

        x0 = x1

        x1 = x0 - (x0 - math.Cos(x0))/(1 + math.Sin(x0))
    }

    fmt.Printf("x0 = %f, x1 = %f\n", x0, x1)

}