论文中矩阵的各种trick

目录

• 最小二乘中优化顺序交换
• MMD
• Scatter Matrix
• 参考资料

最小二乘中优化顺序交换

$$XQc\to XCq$$

其中$X\in R^{n,p},Q\in R^{p,k},c\in R^{k,1},C\in R^{p,kp},q\in R^{kp,1}$，$n$表示样本数，$p$表示特征维度，$c$表示pattern的个数。

推导过程如下：

$$\begin{array}{rl}(XQc{)}_{r,1}& =\sum _l(XQ{)}_{r,l}{c}_{l,1}\\ & =\sum _l\sum _m{X}_{r,m}{Q}_{m,l}{c}_{l,1}\\ & =\sum _m\sum _l{X}_{r,m}{c}_{l,1}{Q}_{m,l}\end{array}$$

令$m$先固定，如$m=1$，$l=\{1,\cdots ,k\}$上式为

$$X_{r,1}{c}_{(1,\cdots ,k),1}{Q}_{1,(1,\cdots ,k)}$$

可以看到$c$对$Q$每一行都做了矩阵乘法，而$m$是变动的，不难可以想象出$I\otimes c.T$，$Q$要拉成已为向量。代码如下：

import numpy as np

np.random.seed(10)

X = np.random.randn(5, 10)
Q = np.random.randn(10, 3)
c = np.random.randn(3, 1)

# original 
result = X.dot(Q.dot(c))

# transformed
I = np.eye(10)
q = Q.reshape(-1, 1)

# 
C = np.outer(I, c.T).reshape(10, -1)
# C = np.multiply.outer(I, c.T).reshape(10, -1)
# C = np.einsum('ab, cd->abcd', I, c.T).reshape(10, -1)

new_result = X.dot(C.dot(q))

print("变换是否等价"， np.allclose(result, new_result, rtol=1e-4))

MMD

$$\Vert \frac{1}{n_s}\sum _{i=1}^{n_s}{A}^T{x}_i-\frac{1}{n_t}\sum _{i=n_s}^{n_s+n_t}{A}^T{x}_i{\Vert }_2^2$$

例子来源于^[1]，具体的过程再赘述。

$$\begin{array}{rl}\Vert \frac{1}{n_s}\sum _{i=1}^{n_s}{A}^T{x}_i-\frac{1}{n_t}\sum _{i=n_s}^{n_s+n_t}{A}^T{x}_i{\Vert }_2^2& =\Vert \frac{1}{n_s}{A}^T{X}_s\mathbf{1}-\frac{1}{n_t}{A}^T{X}_t\mathbf{1}{\Vert }_2^2\\ & =tr\left(A^T\left(\left[\begin{array}{cc}{X}_s& X_t\end{array}\right]\left[\begin{array}{cc}{\frac{1}{n_s}}^2& -\frac{1}{n_s{n}_t}\\ -\frac{1}{n_s{n}_t}& {\frac{1}{n_t}}^2\end{array}\right]\left[\begin{array}{c}{X}_s\\ X_t\end{array}\right]\right)A\right)\\ & =tr(A^{T}XM{X}^{T}A)\end{array}$$

Scatter Matrix

$$AH{A}^T$$

Scatter matrix可以度量矩阵的方差^[2]，$H=I-\frac{1}{n}\mathbf{1}{\mathbf{1}}^T$方差的定义是

$$\begin{array}{rl}var& =\sum _{i=1}^n(x_i-m)(x_i-m{)}^T\\ & =\sum _{i=1}^n{x}_i{x}_i^T-n\overline{x}{\overline{x}}^T\end{array}$$

其中$\overline{x}=\frac{1}{n}\sum x_i$。令$X=\left[\begin{array}{ccc}{x}_1& \cdots & x_n\end{array}\right]$，则上式可以表达为

$$\begin{array}{rl}var& =XI{X}^T-X(\frac{1}{n}\mathbf{1}{\mathbf{1}}^T)X^T\end{array}$$

参考资料

1. 王晋东不在家， MMD计算的核技巧公式推导

2. 王晋东不在家, 迁移成分分析(TCA)方法简介