寻找“最好”（4）——不等约束和KKT条件
摘要：不等约束 上篇文章介绍了如何在等式约束下使用拉格朗日乘子法，然而真实的世界哪有那么多等式约束？我们碰到的大多数问题都是不等约束。对于不等约束的优化问题，可以这样描述： 其中f(x)是目标函数，g(x)为不等式约束，h(x)为等式约束，x = x1, x2, …… xk。 对于不等约束来说，无非是大于
阅读全文
posted @ 2018-11-26 11:21
11 2018 档案
线性代数笔记20——行列式和代数余子式
摘要：行列式 如果有两个向量<a1, a2>和<b1, b2>，那么这两个向量组成的行列式是： 看起来只是表示一个简单的计算，仅仅计算了一个数值，但是别忘了，行列式是由向量组成的，它一定会表示向量间的某种关系。 在《线性代数笔记4——向量3（叉积）》中我们看到，二阶行列式表示了二维平面中以两个向量为临边的
阅读全文
posted @ 2018-11-21 16:39
线性代数笔记19——格拉姆-施密特正交化
摘要：标准正交矩阵 标准正交向量 有一堆向量，q1,q2……qn，它们两两正交，这意味着这些向量满足： 一个向量没法和自己正交，在i = j时，让qiTqi = 1，这相当于qi模长等于1： 向量的转置乘以自身等于1，意味着这个向量是单位向量，所以我们称这堆向量q1,q2……qn是标准正交向量。 标准正交
阅读全文
posted @ 2018-11-20 13:58
寻找“最好”（8）——牛顿法
摘要：牛顿是近代科学的先驱，智商290，碾压无数学霸，一个苹果都能砸出万有引力定律。 在力学上，牛顿阐明了动量和角动量守恒的原理，提出牛顿三大运动定律，它们和万有引力定律奠定了此后三个世纪里物理世界的科学观点，并成为无数中学生的噩梦。牛顿他通过论证开普勒行星运动定律与他的引力理论间的一致性，展示了地面物体
阅读全文
posted @ 2018-11-07 15:30
线性代数笔记18——投影矩阵和最小二乘
摘要：一维空间的投影矩阵 先来看一维空间内向量的投影： 向量p是b在a上的投影，也称为b在a上的分量，可以用b乘以a方向的单位向量来计算，现在，我们打算尝试用更“贴近”线性代数的方式表达。 因为p趴在a上，所以p实际上是a的一个子空间，可以将它看作a放缩x倍，因此向量p可以用p = xa来表示，只要找出x
阅读全文
posted @ 2018-11-02 17:43
