04 2016 档案
转载:协方差与协方差矩阵
摘要:本文讲的主要内容是协方差以及协方差矩阵。 在统计学中,我们见过的最基本的三个概念是均值,方差,标准差。假定给定了n个样本的集合,那么公式如下 均值是描述样本的平均值,标准差描述的是样本集合的各个点到均值距离的平均,体现了样本的散步程度。而方 差仅仅是标准差的平方。 实际上,上述的方差是针对一维数据的
阅读全文
装载:关于拉格朗日乘子法与KKT条件
摘要:作者:@wzyer 拉格朗日乘子法无疑是最优化理论中最重要的一个方法。但是现在网上并没有很好的完整介绍整个方法的文章。我这里尝试详细介绍一下这方面的有关问题,插入自己的一些理解,希望能够对大家有帮助。本文分为两个部分:第一部分是数学上的定义以及公式上的推导;第二部分主要是一些常用方法的直观解释。初学
阅读全文
装载:深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
摘要:在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能
阅读全文