摘要：
机器学习中很多数值优化算法都会用到线搜索（line search)。线搜索的目的是在搜索方向上找到是目标函数\(f(x)\)最小的点。然而，精确找到最小点比较耗时，由于搜索方向本来就是近似，所以用较小的代价找到最小点的近似就可以了。Backtracking Line Search(BLS)就是这么一... 阅读全文
摘要：
机器学习中，很多问题都可以归结为寻找 f(x)=0 的点（例如，凸优化问题，寻找导数为0的点）。很多时候f(x)=0的解析解很难计算，下面，我们就总结一下该问题的数值计算方法。1. Newton's Method（牛顿法）牛顿法是利用函数在当前点的切线作为函数的近似，寻找当前点切线=0的点，作为下一... 阅读全文