Algebra_Matrix_Tensor - 随笔分类 - Picassooo

摘要：阅读全文

posted @ 2020-09-09 17:07 Picassooo 阅读(277) 评论(0) 推荐(0) 编辑

摘要：矩阵Frobenius范数的定义如下：所以矩阵F范数的平方可以转化为矩阵的内积(内积的定义可参考这篇文章)，再转化为矩阵的迹，即我们经常遇到需对矩阵F范数的平方求导的情况，根据上式，可转化为对矩阵的迹的求导了。阅读全文

posted @ 2020-09-08 21:19 Picassooo 阅读(9037) 评论(0) 推荐(1) 编辑

摘要：

G

$\mathcal{G}$ 被称作核心张量，一般是满张量(full tensor)，即其非对角线元素一般也不为零。 Tucker分解又称高阶奇异值分解(High Order Sigular Value Decompsition, HOSVD)。阅读全文

posted @ 2020-06-23 09:43 Picassooo 阅读(1841) 评论(0) 推荐(1) 编辑

转：矩阵向量求导

摘要：虽然我在矩阵微分系列中有介绍关于矩阵和向量的求导，但是不够系统，无意中发现一位同仁写的矩阵和向量的求导系列博客，写的很详细，相当不错，特此推荐：机器学习中的矩阵向量求导(一) 求导定义与求导布局机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法机器学习中的矩阵向量求导(三) 矩阵向量求导之微阅读全文

posted @ 2020-06-19 16:50 Picassooo 阅读(165) 评论(0) 推荐(0) 编辑

矩阵

ℓ_{2, 1}

$\ell_{2,1}$ 范数

摘要：

ℓ_{2, 1}

$\ell_{2,1}$ -norm encourages the columns of matrix A to be zeros. For example， we have objective function：阅读全文

posted @ 2020-06-18 11:28 Picassooo 阅读(339) 评论(0) 推荐(0) 编辑

从奇异值角度比较矩阵范数和向量范数

摘要：从奇异值的角度看矩阵范数，会发现与向量范数有一一对应关系：（注：表中涉及到用奇异值表示Frobenius范数，其推导可参考这篇博客）向量的L1范数是L0范数的松弛，并且在一定条件下是等价的。矩阵核范数是rank约束的松弛，并且在一定条件下是等价的。阅读全文

posted @ 2020-06-10 22:42 Picassooo 阅读(727) 评论(0) 推荐(0) 编辑

幂等矩阵的性质及证明

摘要：定义：若

A A = A

$AA=A$ ，则称

A

$A$ 为幂等矩阵。 1.幂等矩阵的特征值只取1和0两个数值证明：设

λ

$\lambda$ 是幂等矩阵

A

$A$ 的特征值，

v

$\bold{v}$ 是与

λ

$\lambda$ 对应的特征向量，则 $\lambda \bold{v}=A\bold{v}=A^2 \bold{v}=\lambda^ 阅读全文

posted @ 2020-06-10 17:06 Picassooo 阅读(13914) 评论(0) 推荐(1) 编辑

矩阵方程求解方法分类

摘要：本文摘自张贤达的《矩阵分析与应用》第六章阅读全文

posted @ 2020-06-10 00:21 Picassooo 阅读(1237) 评论(0) 推荐(0) 编辑

r a n k (A^{T} A) = r a n k (A A^{T}) = r a n k (A) = r a n k (A^{T})

$rank(A^TA)=rank(AA^T)=rank(A)=rank(A^T)$

摘要：假设

A

$A$ 是

m * n

$m*n$ 矩阵，可通过证明

A x = 0

$Ax=0$ 和

A^{T} A x = 0

$A^TAx=0$ 这两个n元方程有相同解来证明

r a n k (A^{T} A) = r a n k (A)

$rank(A^TA)=rank(A)$ 。 (1)

A x = 0 \to A^{T} A x = 0

$Ax=0 \rightarrow A^TAx=0$ ，即方程

A x = 0

$Ax=0$ 的解也是

A^{T} A x = 0

$A^TAx=0$ 的解； (2) $A^TAx=0 \rightarr 阅读全文

posted @ 2020-06-09 19:35 Picassooo 阅读(1553) 评论(0) 推荐(0) 编辑

矩阵Frobenius范数、核范数与奇异值的关系

摘要：本文摘自史加荣等人发表在计算机应用研究杂志的《低秩矩阵恢复算法综述》阅读全文

posted @ 2020-06-08 20:34 Picassooo 阅读(7073) 评论(0) 推荐(1) 编辑

relint, 相对内点集的理解

摘要：本文摘自《矩阵分析与应用》张贤达阅读全文

posted @ 2020-06-05 09:24 Picassooo 阅读(3992) 评论(0) 推荐(0) 编辑

为什么方阵特征值乘积等于它的行列式值？

摘要：本文摘自知乎为何矩阵特征值乘积等于矩阵行列式值？阅读全文

posted @ 2020-06-02 23:01 Picassooo 阅读(2878) 评论(0) 推荐(0) 编辑

为什么方阵的特征值之和等于它的迹？

摘要：本文摘自知乎为什么特征值之和会等于矩阵的迹？阅读全文

posted @ 2020-06-02 22:42 Picassooo 阅读(3744) 评论(0) 推荐(0) 编辑

证明：正定矩阵的所有特征值都为正实数

摘要：本文摘自《矩阵分析与应用》张贤达阅读全文

posted @ 2020-06-02 21:19 Picassooo 阅读(5608) 评论(0) 推荐(0) 编辑

张量系列一：秩一张量和张量的秩

摘要：本文摘自：Tensor Decomposition and its Applications, Daniel Tock 阅读全文

posted @ 2020-05-31 17:01 Picassooo 阅读(2922) 评论(0) 推荐(2) 编辑

矩阵微分系列四：矩阵的 Frobenius 范数及其求偏导法则

摘要：「本文摘自矩阵的 Frobenius 范数及其求偏导法则」阅读全文

posted @ 2020-05-22 09:37 Picassooo 阅读(1257) 评论(0) 推荐(0) 编辑

矩阵微分系列三：线性变换的导数和最小二乘解

摘要：先回顾一下矩阵乘矩阵的规则：

A B = \sum_{k} a_{i k} b_{k j}

$AB=\sum_{k} a_{ik} b_{kj}$ 矩阵乘向量的规则：

A x = \sum_{k} a_{i k} x_{k}

$A \textbf{x}=\sum_{k} a_{ik} x_{k}$ 公式1：

\nabla_{X} f (A X + B) = A^{T} \nabla_{Y} f

$\nabla_X f(AX+B)=A^T \nabla_Y f$ , 其中

Y = A X + B

$Y=AX+B$ , $A \in R^{ 阅读全文

posted @ 2020-05-21 20:43 Picassooo 阅读(785) 评论(0) 推荐(0) 编辑

矩阵微分系列二：矩阵迹求导

摘要：「本文部分内容摘自一份佚名的资料」符号说明： 1 证明tr(AB)=tr(BA)：在以前的一篇博客中，我们证明了求矩阵乘积的迹与矩阵内积的等价性，即

< A, B >= t r (A^{T} B)

$<A, B>=tr(A^TB)$ ，利用此等式，我们有

t r (A B) =< A^{T}, B >=< A, B^{T} >=< B^{T}, A >= t r (B A)

$tr(AB)=<A^T, B>=<A, B^T>=<B^T, A>=tr(BA)$ 2 基本阅读全文

posted @ 2020-05-20 21:57 Picassooo 阅读(5695) 评论(0) 推荐(2) 编辑

矩阵分解系列四：奇异值分解(SVD)

摘要：本文大部分内容摘自以下三个参考资料，增加了一点自己的理解和总结：奇异值分解小结矩阵论笔记：奇异值分解SVD 矩阵分解 3. SVD分解示例 4. SVD分解总结流程图：用矩阵表示就是：阅读全文

posted @ 2020-05-20 21:56 Picassooo 阅读(893) 评论(0) 推荐(0) 编辑

矩阵微分系列一：矩阵向量微分公式推导

摘要：「本文部分内容摘自一份佚名的资料」符号说明： 1 证明：将证明过程展开即是 2 将证明过程展开即是 3 将证明过程展开即是 4 证明方法一：证明方法二：上面的证明用到了一条求导规则：阅读全文

posted @ 2020-05-20 19:19 Picassooo 阅读(2493) 评论(0) 推荐(0) 编辑

Picassooo

随笔分类 - Algebra_Matrix_Tensor

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论