2014年12月9日
数值优化 - 牛顿法
摘要： NG的课件1也讲到了牛顿法，它对应的update rule是 H对应Hessian矩阵 http://en.wikipedia.org/wiki/Hessian_matrix http://aria42.com/blog/2014/12/understanding-lbfgs/ 给出了关于牛顿法更详细的解释... 阅读全文
posted @ 2014-12-09 08:00 阁子 阅读(730) 评论(0) 推荐(0) 编辑
数值优化-梯度下降法
摘要： NG的课件1，引出常用的优化方法梯度下降法(gradient descent) 对于 ordinary least squares regression， cost function为 求最小值，意味着求导数为0的位置 考虑只有一个样本 这叫做LMS update rule (Least Mean Squares) 对应所有样本的训练集合 ... 阅读全文
posted @ 2014-12-09 07:43 阁子 阅读(670) 评论(0) 推荐(0) 编辑