主成分分析（PCA）
摘要：
主成分分析（principal component analysis）是一种常见的数据降维方法，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减小计算量。PCA的本质就是找一些投影方向，使得数据在这些投影方向上的方差最大，而且这些投影方向是相互正交的。 使用拉格朗日方程来求解该最大 阅读全文
posted @ 2016-11-21 19:30 1357 阅读(544) 评论(0) 推荐(0) 编辑
特征值分解与奇异值分解(SVD)
摘要：
1.使用QR分解获取特征值和特征向量 将矩阵A进行QR分解，得到正规正交矩阵Q与上三角形矩阵R。由上可知Ak为相似矩阵，当k增加时，Ak收敛到上三角矩阵，特征值为对角项。 2.奇异值分解(SVD) 其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。 将矩阵 阅读全文
posted @ 2016-11-20 18:12 1357 阅读(3991) 评论(0) 推荐(0) 编辑
矩阵的QR分解（三种方法）Python实现
摘要：
1.Gram-Schmidt正交化 假设原来的矩阵为[a,b]，a,b为线性无关的二维向量，下面我们通过Gram-Schmidt正交化使得矩阵A为标准正交矩阵： 假设正交化后的矩阵为Q=[A,B],我们可以令A=a，那么我们的目的根据AB=I来求B，B可以表示为b向量与b向量在a上的投影的误差向量： 阅读全文
posted @ 2016-11-18 21:53 1357 阅读(19974) 评论(0) 推荐(0) 编辑
LU分解和求解线性方程组
摘要：
1 # coding:utf8 2 import numpy as np 3 4 def lu(mat): 5 r,c=np.shape(mat) 6 s=min(r,c) 7 for k in range(s): 8 x=1.0/mat[k][k] # 将后续除法变成乘法 9 for i in range(k+1,r... 阅读全文
posted @ 2016-11-18 17:36 1357 阅读(2303) 评论(0) 推荐(0) 编辑
Softmax回归（使用tensorflow）
摘要：
1 # coding:utf8 2 import numpy as np 3 import cPickle 4 import os 5 import tensorflow as tf 6 7 class SoftMax: 8 def __init__(self,MAXT=30,step=0.0025): 9 self.MAXT = MAXT 10 ... 阅读全文
posted @ 2016-10-14 22:56 1357 阅读(1780) 评论(0) 推荐(0) 编辑
Softmax回归（使用theano）
摘要：
1 # coding:utf8 2 import numpy as np 3 import cPickle 4 import theano 5 import os 6 import theano.tensor as T 7 8 class SoftMax: 9 def __init__(self,MAXT=50,step=0.15,landa=0):... 阅读全文
posted @ 2016-10-06 23:31 1357 阅读(1120) 评论(0) 推荐(0) 编辑
