君子博学而日参省乎己 则知明而行无过矣

博客园 首页 新随笔 联系 订阅 管理
  1057 随笔 :: 381 文章 :: 141 评论 :: 169万 阅读

随笔分类 -  凸优化(convex optimization)

最优化局部极小点的条件（二）
摘要：回忆一下关于元实值函数的的求导问题，函数的一阶导数为 函数的梯度正好是导数的转置，即；函数的二阶导数，也称为hessian矩阵，可表示为： 对于向量,和约束集中的某个点，如果存在一个实数使得对于所有，仍然在约束集内... 阅读全文
posted @ 2015-12-28 04:57 刺猬的温驯 阅读(4763) 评论(0) 推荐(1) 编辑

最优化方法及其数学模型（一）
摘要：最优化方法广泛的体现于自然界及人类社会中，它“先天地生，独立而不改，周行而不殆“，正如神正论者说，当前世界是上帝所创造的可能世界中最好的世界；生物的生存及进化都遵循着最优化的原则，从而形成当今我们世界的众生万物；——于人类社会中，这种原则有过之而无不及，它源于人类的一种贪婪的想法，它企图在一定... 阅读全文
posted @ 2015-12-18 22:42 刺猬的温驯 阅读(2915) 评论(0) 推荐(1) 编辑

机器学习中导数最优化方法(基础篇)
摘要：1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法，梳理梳理相关的数学知识，本人也是一边写一边学，如... 阅读全文
posted @ 2015-11-09 22:21 刺猬的温驯 阅读(2130) 评论(0) 推荐(0) 编辑

拉格朗日对偶简介
摘要：拉格朗日乘子（Lagrange Multipliers）又称为待定乘数法（Undetermined Multipliers），通常用来寻找某一函数在一个或多个约束条件下的最值点。其主要思想是引入一个新的变量λ（即拉格朗日乘子），把约束条件和原函数结合到一起，形成新的函数，这个新的函数的最值点与原函数... 阅读全文
posted @ 2015-10-26 05:13 刺猬的温驯 阅读(3822) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示