随笔分类 - 数学
摘要：假设有两个向量 $\boldsymbol{a}$ 和 $\boldsymbol{b}$ ，则有: $\begin{aligned}\|\boldsymbol{a}-\boldsymbol{b}\|^{2} &=(\boldsymbol{a}-\boldsymbol{b})^{T}(\boldsymb
阅读全文
摘要：https://zhuanlan.zhihu.com/p/36522776
阅读全文
摘要：https://zhuanlan.zhihu.com/p/138153530 矩阵与数值计算
阅读全文
摘要：介绍 相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。
阅读全文
摘要：矩阵的迹的定义：一个 $n \times n$ 的矩阵 A 的迹是指 A 的主对角线上各元素的总和，记作 $\operatorname{tr}(A)$ 。即 $\operatorname{tr}(A)=\sum\limits\limits _{i=1}^{n} a_{i i}$ 定理1: $\ope
阅读全文
摘要：1 KL散度 KL散度(Kullback–Leibler divergence) 定义如下： $D_{K L}=\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times \log \left(\frac{P\left(x_{i}\right)}{Q\left(
阅读全文
摘要：首先，本定理针对的是 Hermitian 矩阵， 即共轭对称矩阵。 因为只有共轭对称矩阵的特征值是确定为实数值的， 其他矩阵很可能是复数值， 而复数值，也就不存在大小关系了。 Courant-Fisher min-max 定理 对于 $n \times n$ 的矩阵 $\mathbf{A}$ , 有
阅读全文
摘要：三角公式汇总 一、任意角的三角函数 在角 $\alpha$ 的终边上任取一点 $P(x, y)$ , 记: $r=\sqrt{x^{2}+y^{2}} $, 正弦: $\sin \alpha=\frac{y}{r} $ 余弦: $\cos \alpha=\frac{x}{r} $ 正切: $\tan
阅读全文
摘要：如果 $A A^{\top}=E$ ( $E$ 为单位矩阵， $A^{\top} $ 表示“矩阵 $A$ 的转置矩阵") 或 $A^{\top} A=E$ ，则 $n$ 阶实矩阵 $A$ 称为正交矩阵 。正交矩阵是实数 特殊化的酉矩阵，因此总是属于正规矩阵。尽管我们在这里只考虑实数矩阵，但这个定义可
阅读全文
摘要：前提：矩阵A必须可相似对角化！ 充分条件: $A$ 是实对称矩阵 $A$ 有 $n$ 个互异特征值 $A^{\wedge} 2=A $ $\mathrm{A}^{\wedge} 2=\mathrm{E} $ $ r(A)=1 且 \operatorname{tr}(A) !=0$ 谱分解（Spect
阅读全文
摘要：可逆矩阵 矩阵 $A$ 为 $n$ 阶方阵，若存在 $n$ 阶矩阵 $B$ ，使得矩阵 $A、B$ 的乘积为单位阵，则称 $A$ 为可逆阵，$B$ 为 $A$ 的逆矩阵。若方阵的逆阵存在，则称为可逆矩阵或非奇异矩阵，且其逆矩阵唯一。 定义 设 $P$ 是数域， $A \in P^{n \times
阅读全文
摘要：对数函数运算法则 (1) $\log _{a}(M N)=\log _{a} M+\log _{a} N $(2) $ \log _{a}(M / N)=\log _{a} M-\log _{a} N $(3) $ \log _{a}(1 / N)=-\log _{a} N $(4) $ \log
阅读全文
摘要：北邮：凸优化理论与应用 https://www.doc88.com/p-1704610024127.html 凸优化复习笔记 https://www.doc88.com/p-1485674848351.html?s=like&id=1 需要材料的联系博主 『总结不易，加个关注呗！』
阅读全文
摘要：行空间、列空间 行空间、列空间 如果 $A$ 为一 $m \times n$ 矩阵，由 $A$ 的行向量张成的 $R^{1 \times n}$ 的子空间称为 $A$ 的行空间(row space)。由 $A$ 的各列张成的 $\mathbf{R}^{\mathrm{m}}$ 的子空间称为 $A$
阅读全文
摘要：向量变元的实值标量函数 $f(\boldsymbol{x}), \boldsymbol{x}=\left[x_{1}, x_{2}, \cdots, x_{n}\right]^{T}$ 梯度向量形式 $\nabla_{x} f(\boldsymbol{x})=\frac{\partial f(\bo
阅读全文
摘要：1 样本均值 设 $X_{1}, X_{2}, \cdots, X_{n}$ 为总体 $X$ 的样本，样本容量为 $n$ , 则样本均值为 $\bar{X}=\frac{1}{n} \sum \limits _{i=1}^{n} X_{i}$ 用样本均值 $\bar{X}$ 来估计总体的期望 $ \
阅读全文
摘要：哈达玛积(Hadamard product)是矩阵的一类运算，若 $A=(a_{ij})$ 和 $B=(b_{ij})$ 是两个同阶矩阵，若,则称矩阵 $c_{ij}=a_{ij}\times b_{ij}$ 为 $A$ 和 $B$ 的哈达玛积，或称基本积。 1 定义 设 $A, B \in \ma
阅读全文
摘要：伯努利试验 伯努利试验（Bernoulli experiment）是在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。 我们假设该项试验独立重复地进行了 $n$ 次，那么就称这一系列重复独立的随机试验为 $n$ 重伯努利试验，或称为伯努利概型。单
阅读全文