2014年3月24日
牛顿法与拟牛顿法学习笔记（四）BFGS 算法
摘要： 机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:53 peghoty 阅读(366) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
摘要： 机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:53 peghoty 阅读(566) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（三）DFP 算法
摘要： 机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:52 peghoty 阅读(501) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（一）牛顿法
摘要： 机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:51 peghoty 阅读(415) 评论(0) 推荐(0) 编辑
牛顿法与拟牛顿法学习笔记（二）拟牛顿条件
摘要： 机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:51 peghoty 阅读(335) 评论(0) 推荐(0) 编辑