Cayley transform

目录

• 定义
• 性质
  • 旋转矩阵的一般重参数化:
  • 正交矩阵的一般重参数化:
• 代码

[1] Gallier J. Remarks on the Cayley Representation of Orthogonal Matrices and on Perturbing the Diagonal of a Matrix to Make it Invertible. 2014.

[2] Mondal S., Sivakumar K.C. and Tsatsomeros M. The Cayley transform of prevalent matrix classes. 2023.

[3] Wikipedia-Cayley-transform.

定义

注: 这里只介绍一些简单的实数域上的概念, 复数域的结果是一样的, 只是转置 $T$ 需要变成 $H$.

• $|\cdot|$, 行列式

• Cayley transform: 对于 n 维方阵 $A \in \mathbf{M}_n(\mathbb{R})$, 假设其满足 $(I + A)$ 是可逆的, 则它的 Cayley transform 定义为:

  $$\mathcal{C}(A) = (I + A)^{-1} (I - A).$$

注: 有些定义中 (如 [1]) $(I + A)^{-1}$ 和 $(I - A)$ 的顺序交换了次序, 都是可以的.

性质

• $I + \mathcal{C}(A) = 2(I + A)^{-1}$:

  $$\begin{array}{ll} I + \mathcal{C}(A) &= (I + A)^{-1} (I + A) (I + \mathcal{C}(A)) \\ &= (I + A)^{-1} ((I + A) + (I + A)\mathcal{C}(A)) \\ &= (I + A)^{-1} ((I + A) + (I - A)) \\ &= 2(I + A)^{-1}. \end{array}$$

• 可逆性: $I + \mathcal{C}(A)$ 可逆

  $$\begin{array}{ll} |I + \mathcal{C}(A)| &= |2(I + A)^{-1}| \not = 0. \end{array}$$

• 自反性: $\mathcal{C} \circ \mathcal{C} (A) = A$

  $$\begin{array}{ll} \mathcal{C} \circ \mathcal{C} (A) &= \bigg(I + \mathcal{C} (A)\bigg)^{-1} \bigg(I - \mathcal{C} (A)\bigg) \\ &= \bigg(I + (I + A)^{-1} (I - A) \bigg)^{-1} \bigg(I - \mathcal{C} (A)\bigg) \\ &= \bigg(I + (I + A)^{-1} (I - A) \bigg)^{-1} (I+A)^{-1} (I + A) \bigg(I - \mathcal{C} (A)\bigg) \\ &= \bigg((I+A) + (I - A) \bigg)^{-1} (I + A) \bigg(I - \mathcal{C} (A)\bigg) \\ &= \frac{1}{2} (I + A) \bigg(I - \mathcal{C} (A)\bigg) \\ &= \frac{1}{2} (I + A) \bigg(I - (I+A)^{-1} (I - A)\bigg) \\ &= \frac{1}{2} \bigg((I + A) - (I - A)\bigg) \\ &= \frac{1}{2} \cdot 2A = A. \end{array}$$

• $I - \mathcal{C}(A) = 2 ( I + A^{-1})^{-1}$ 如果 $A$ 可逆:

  $$\begin{array}{ll} I - \mathcal{C} (A) &= (I + A^{-1})^{-1} (I + A^{-1}) (I - \mathcal{C}(A)) \\ &= (I + A^{-1})^{-1} \big( (I + A^{-1}) - (I + A^{-1}) \mathcal{C}(A) \big) \\ &= (I + A^{-1})^{-1} \big( (I + A^{-1}) - (A^{-1} - I)\big) \\ &= 2 (I + A^{-1})^{-1}. \end{array}$$

• 正交性: 如果 $A \in \mathbf{M}_n(\mathbb{R})$ 满足 $(I + A)$ 可逆, 则 $A$ 是反对称矩阵 (即 $A = -A^T$) 当且仅当 $\mathcal{C}(A)$ 是正交矩阵.

  • 充分性:
    $$\begin{array}{ll} \mathcal{C}^T(A) \mathcal{C}(A) &= \big(I + \mathcal{C}(A) \big)^T \mathcal{C}(A) - \mathcal{C}(A) \\ &= [2(I + A)^{-1}]^T \mathcal{C}(A) - \mathcal{C}(A) \\ &= 2(I + A^T)^{-1} (I + A)^{-1} (I - A) - \mathcal{C}(A) \\ &= 2(I - A)^{-1} (I + A)^{-1} (I - A) - \mathcal{C}(A) \\ &= 2(I + A)^{-1} (I - A)^{-1} (I - A) - \mathcal{C}(A) \\ &= 2(I + A)^{-1} - (I + A)^{-1} (I - A) \\ &= (I + A)^{-1} \big(2 I - (I - A) \big) \\ &= (I + A)^{-1} (I + A) = I. \end{array}$$

  • 必要性:
    $$\begin{array}{ll} A &= -2(I + [\mathcal{C}(A)]^{-1})^{-1} + I \\ &= -2(I + [\mathcal{C}(A)]^{T})^{-1} + I \\ &= -\big[2(I + \mathcal{C}(A))^{-1}\big]^T + I \\ &= -\big[I + \mathcal{C} \circ \mathcal{C}(A) \big]^T + I \\ &= -\big[I + A \big]^T + I \\ &= -A^T. \end{array}$$

• $\mathcal{C}(A)$是旋转矩阵, 若 $A$ 是反对称矩阵:

  • 一个旋转矩阵是行列式为 1 的正交矩阵:
    $$|\mathcal{C}(A)| = \frac{|I - A|}{|I + A|}, \\ |\mathcal{C}^T(A)| = \frac{|I - A^T|}{|I + A^T|} = \frac{|I + A|}{|I - A|}, \\ |\mathcal{C}(A)| = |\mathcal{C}^T(A)| \Rightarrow \frac{|I - A|}{|I + A|} =\frac{|I + A|}{|I - A|} \Rightarrow |I - A| = |I + A| \Rightarrow |\mathcal{C}(A)| = 1.$$

• 缺失性: 当 $A \in \mathbf{M}_n(\mathbb{R})$ 是反对称矩阵的时候, 虽然 $\mathcal{C}(A)$ 是旋转矩阵, 但不能通过这种方式涵盖所有的旋转矩阵, 因为 $\mathcal{C}(A)$ 不能有 $-1$ 特征值 (既然 $I + \mathcal{C}(A)$ 是可逆的).

旋转矩阵的一般重参数化:

• ([2], Proposition 1.2) 每个旋转矩阵 $R \in \mathbf{SO}(n)$, 存在唯一的反对称矩阵 $S$ 使得
  $$R = \bigg( \mathcal{C}(A) \bigg)^2.$$

正交矩阵的一般重参数化:

• 一般的正交矩阵, 除了旋转矩阵外, 还包括行列式为 -1 的情况 (即反射).

• ([2], Proposition 1.4) 每个正交矩阵 $R \in \mathbf{O}(n)$, 存在一对角矩阵 $E$ 其对角线元素为 $\{+1, -1\}$, 和某一反对称矩阵 $S$ 使得

  $$R = E (I - S) (I + S)^{-1}.$$

代码

[torch.nn.utils.parametrizations.orthogonal]