摘要：
###R语言笔记学习R语言对我来说有好几个地方需要注意的，我觉得这样的经验也适用于学习其他的新的语言。####语言的目标我理解语言的目标就是这个语言是用来做什么的，为什么样的任务服务的，也就是设计这个语言的动机。比如C++是为系统编程服务的，java是为企业级应用服务的。R语言是用于统计分析，这样在... 阅读全文
摘要：
###有约束优化概述基本的观点是有约束优化都是类似于盖房子。首先是最基本的砖块，然后才是有各种各样的用砖块建的房子。这个最基本的砖块就是线性约束的二次优化问题。####线性等式约束的二次优化(Equality Constrained Qudratic Programming)需要优化的目标具有如下的... 阅读全文
摘要：
###无约束最优化概述无约束最优化的基本问题是要解决如下的问题：$$ argmin_x \; f(x) $$在这里要求$ f(x) $是连续且可导的。####优化的基本策略如果优化问题不能够直接求解，那么解决问题的方法只有通过不停的迭代。迭代的基本方式如下：1. 设置初始点 $ x_0 $，同时设置... 阅读全文
摘要：
Numerical Optimization Line Search 线性搜索简介数值优化是迭代式的优化方法，从一个初始点x0开始，然后产生一个迭代方向∇d0，在这个方向上选择一个步长α0，下一个点就是x0+α0∗∇d0。按照这样的方法不停的迭代下去，直到找到最优点。在这个过程中有两步是非常重要的。... 阅读全文
摘要：
##凸优化总结所有这些想法基本是来自于书籍[convex optimization](http://book.douban.com/subject/1888111/)，主要包括凸优化的基本理论，主要的优化算法。凸优化的基本理论包括凸优化的基本定义，以及KKT条件。###优化问题的定义优化问题的基本定... 阅读全文
摘要：
前面已经说过LU，Cholesky和QR分解，这次介绍的是实Schur分解。对这个分解的定义是任意一个矩阵A，可有如下形式的分解： U*A*U’ = B;其中B是拟上三角矩阵，拟上三角矩阵的定义是在矩阵的对角线上存在2x2大小的矩阵，而且矩阵U是正交矩阵，因为矩阵A的特征值和B的特征值相同。而且A的特征值出现在B的对角线上。计算特征值分解和SVD都依靠这个算法做最... 阅读全文
摘要：
从矩阵分解的角度来看，LU和Cholesky分解目标在于将矩阵转化为三角矩阵的乘积,所以在LAPACK种对应的名称是trf（Triangular Factorization）。QR分解的目的在于将矩阵转化成正交矩阵和上三角矩阵的乘积，对应的分解公式是A=Q*R。正交矩阵有很多良好的性质，比如矩阵的逆和矩阵的转置相同，任意一个向量和正交矩阵的乘积不改变向量的2范数等等。QR分解可以用于求解线... 阅读全文
摘要：
接着LU分解继续往下，就会发展出很多相关但是并不完全一样的矩阵分解，最后对于对称正定矩阵，我们则可以给出非常有用的cholesky分解。这些分解的来源就在于矩阵本身存在的特殊的结构。对于矩阵A，如果没有任何的特殊结构，那么可以给出A=L*U分解，其中L是下三角矩阵且对角线全部为1，U是上三角矩阵但是对角线的值任意，将U正规化成对角线为1的矩阵，产生分解A = L*D*U， D为对角矩阵。如... 阅读全文
摘要：
接着上次LU分解的讲解，这次给出使用不同的计算LU分解的方法，这种方法称为基于GaxPy的计算方法。这里需要了解lapapck中的一些函数。lapack中有一个函数名为gaxpy，所对应的矩阵计算公式是：x = Gx + y; 对应的Matlab代码如下：function[L, U] =zgaxpylu(A)%calculate LU decomposition based on Gaxpy op... 阅读全文
摘要：
1/6 LU 分解 LU 分解可以写成A = LU，这里的L代表下三角矩阵，U代表上三角矩阵。对应的matlab代码如下：function[L, U] =zlu(A)% ZLU - LU decomposition for matrix A% work as gauss elimination[m, n] = size(A);if m ~= n error('Error,... 阅读全文