线性代数/矩阵论 - 随笔分类 - 颀周

摘要：奇异值分解（Singular Value Decomposition, SVD）可以被看做是方阵特征值分解的推广，适用于任意形状的矩阵。对于矩阵

A \in R^{m \times n}

$A\in \R^{m\times n}$ ，不失一般性，假设

m \geq n

$m\geq n$ ，奇异值分解期望实现：

A = U Σ V^{T}

$A=U\Sigma V^T$ 其中

U, V

$U,V$ 分别为阅读全文

posted @ 2023-09-13 11:18 颀周阅读(391) 评论(0) 推荐(0) 编辑

点积、内积、外积、叉积、张量积——概念区分

摘要：找张量积概念的时候，被各种野路子博客引入的各种“积”搞混了，下面仅以Wikipedia为标准记录各种积的概念。点积（Dot product） https://en.wikipedia.org/wiki/Dot_product 在数学中，点积（Dot product）或标量积（scalar prod 阅读全文

posted @ 2023-03-16 18:08 颀周阅读(2337) 评论(0) 推荐(1) 编辑

实对称矩阵的特征值一定为实数证明

摘要：虽然不是什么有应用价值的定理，但是每次看到实对称矩阵时总会有疑惑，现在记录下来。证明设有实对称矩阵

A

$A$ ，它的特征值与对应的特征向量分别为

λ, x

$\lambda,x$ ，另外记

\bar{A}, \bar{λ}, \bar{x}

$\overline{A},\overline{\lambda},\overline{x}$ 分别为它们对应的共轭复数（矩阵和向量阅读全文

posted @ 2020-10-23 16:10 颀周阅读(9642) 评论(0) 推荐(9) 编辑

两个多维高斯分布之间的KL散度推导

摘要：在深度学习中，我们通常对模型进行抽样并计算与真实样本之间的损失，来估计模型分布与真实分布之间的差异。并且损失可以定义得很简单，比如二范数即可。但是对于已知参数的两个确定分布之间的差异，我们就要通过推导的方式来计算了。下面对已知均值与协方差矩阵的两个多维高斯分布之间的KL散度进行推导。当然，因为便于阅读全文

posted @ 2020-10-12 20:29 颀周阅读(5061) 评论(0) 推荐(5) 编辑

PCA——主成分分析

摘要：PCA 主成分分析（Principal Components Analysis, PCA）是一种降维方法。假设数据集

X \in R^{n \times m}

$X\in R^{n\times m}$ 包含

n

$n$ 条

m

$m$ 维数据，PCA即实现线性映射

Y = X D \in R^{n \times k}

$Y=XD\in R^{n\times k}$ 。其中矩阵$D\in R^{m\times k},k 阅读全文

posted @ 2020-05-25 23:22 颀周阅读(1578) 评论(1) 推荐(3) 编辑

易忘的数学概念

摘要：高数梯度与法向量的关系求曲面

f (x^{(1)}, . . ., x^{(n)}) = 0

$f(x^{(1)},...,x^{(n)})=0$ 在

(x_{0}^{(1)}, . . ., x_{0}^{(n)})

$(x^{(1)}_0,...,x^{(n)}_0)$ 处的法向量（有

f (x_{0}^{(1)}, . . ., x_{0}^{(n)}) = 0

$f(x^{(1)}_0,...,x^{(n)}_0)=0$ ），实际上就是求

z = f (x^{(1)}, . . ., x^{(n)})

$z = f(x^{(1)},...,x^{(n)})$ 在$(x^{( 阅读全文

posted @ 2020-04-13 00:12 颀周阅读(515) 评论(0) 推荐(1) 编辑

特征值之积等于矩阵行列式、特征值之和等于矩阵的迹

摘要：特征值之积等于矩阵行列式对于

n

$n$ 阶方阵

A

$A$ ，我们可以解

λ

$\lambda$ 的

n

$n$ 次方程

| A - λ E | = 0

$|A-\lambda E|=0$ 来求

A

$A$ 的特征值。又因为在复数域内，

A

$A$ 一定存在

n

$n$ 个特征值

λ_{1}, λ_{2} . . . λ_{n}

$\lambda_1,\lambda_2...\lambda_n$ 使上式成立。因此作为

λ

$\lambda$ 阅读全文

posted @ 2020-04-03 20:24 颀周阅读(15124) 评论(2) 推荐(3) 编辑

幂法（指数迭代法）

摘要：幂法是通过迭代来计算矩阵的主特征值（按模最大的特征值）与其对应特征向量的方法，适合于用于大型稀疏矩阵。基本定义设

A = (a_{i j}) \in R^{n \times n}

$A = (a_{ij})\in R^{n\times n}$ ，其特征值为

λ_{i}

$\lambda_i$ ，对应特征向量

x_{i} (i = 1, . . ., n)

$x_i(i=1,...,n)$ ，即$Ax_i = \lambda_i x 阅读全文

posted @ 2020-02-08 23:22 颀周阅读(8884) 评论(0) 推荐(6) 编辑

线性方程组迭代法

摘要：迭代法是通过迭代的方式，一步一步逼近线性方程组解。它不一定能获得精确解，但在迭代多次以后，精度可以无限接近解的真实值。所以当矩阵的维度很高时，在程序中可用这种方法来求解线性方程组。它的基本形式如下：

x^{(k + 1)} = B x^{(k)} + f

$x^{(k+1)} = Bx^{(k)} + f$ 首先设置一个随机初始值

x^{(0)}

$x^{(0)}$ ，然后阅读全文

posted @ 2020-02-06 19:33 颀周阅读(1824) 评论(0) 推荐(1) 编辑

LOADING . . .

qizhou

随笔分类 - 线性代数/矩阵论

公告

积分与排名

随笔分类 (184)

阅读排行榜

评论排行榜

推荐排行榜

最新评论