求和向量与中心化矩阵

一、求和向量

所有元素等于1 的向量称为求和向量（summuing vector）。记为$\mathbf{1}=[1,1, \cdots, 1]^{\mathbf{T}}$ 。以$n=4$为例，求和向量$\mathbf{1}=[1,1, \cdots, 1]^{\mathrm{T}}$ 之所以称为求和向量，乃是因为n 个标量的求和都可以表示为求和向量与另外一个向量之间的内积。

求和向量与自己的内积是一个等于该向量维数的标量，即有：

\begin{equation}
\mathbf{1}_{n}^{\mathrm{T}} \mathbf{1}_{n}=n
\end{equation}

求和向量之间的外积是一个所有元素为1 的矩阵，例如：

\begin{equation}
\mathbf{1}_{2} \mathbf{1}_{3}^{\mathrm{T}}=\left[ \begin{array}{l}{1} \\ {1}\end{array}\right][1,1,1]=\left[ \begin{array}{lll}{1} & {1} & {1} \\ {1} & {1} & {1}\end{array}\right]=\boldsymbol{J}_{2 \times 3}
\end{equation}

更一般地，有：$\mathbf{1}_{p} \mathbf{1}_{\mathbf{q}}^{\mathrm{T}}=\boldsymbol{J}_{\boldsymbol{p} \times \boldsymbol{q}}$（所有元素为1 的矩阵）

二、中心化矩阵

矩阵$\boldsymbol{C}_{n}=\boldsymbol{I}_{n}-\overline{\boldsymbol{J}}_{n}=\boldsymbol{I}_{n}-\frac{1}{n} \boldsymbol{J}_{n}$称为中心化矩阵（centering matrix）。

容易验证，中心化矩阵既是对称矩阵，又是幕等矩阵，即有：

\begin{equation}
C_{n}=C_{n}^{\mathrm{T}}=C_{n}^{2}
\end{equation}

此外，中心化矩阵还具有以下特性：

\begin{equation}
\left.\begin{aligned} C_{n} 1 &=0 \\ C_{n} J_{n} &=J_{n} C_{n}=0 \end{aligned}\right\}
\end{equation}

首先，一组数据$x_{1}, \cdots, x_{n}$ 的均值可以用求和向量表示，即有：

\begin{equation}
\overline{x}=\frac{1}{n} \sum_{i=1}^{n} x_{i}=\frac{1}{n}\left(x_{1}+\cdots+x_{n}\right)=\frac{1}{n} x^{\mathrm{T}} \mathbf{1}=\frac{1}{n} \mathbf{1}^{\mathrm{T}} x
\end{equation}

式中，$\boldsymbol{x}=\left[x_{1}, \cdots, x_{n}\right]^{\mathbf{T}}$为数据向量。

其次，利用中心化矩阵的定义式及其性质公式，可以得到：

\begin{equation}
\begin{aligned} C x &=x-\overline{J} x=x-\frac{1}{n} 11^{\mathrm{T}} x=x-\overline{x} 1 \\ &=\left[x_{1}-\overline{x}, \cdots, x_{n}-\overline{x}\right]^{\mathrm{T}} \end{aligned}
\end{equation}

换言之，矩阵C 对数据向量x的线性变换Cx: 是原数据向量的各个元素减去n 个数据的均值的结果。这就是中心化矩阵的数学含义所在。

此外，如果求向量Cx: 的内积，则有:

\begin{equation}
\begin{aligned}(\boldsymbol{C} \boldsymbol{x})^{\mathrm{T}} \boldsymbol{C x} &=\left[\boldsymbol{x}_{1}-\overline{\boldsymbol{x}}, \cdots, \boldsymbol{x}_{\boldsymbol{n}}-\overline{\boldsymbol{x}}\right]\left[x_{\mathbf{1}}-\overline{\boldsymbol{x}}, \cdots, \boldsymbol{x}_{\boldsymbol{n}}-\overline{\boldsymbol{x}}\right]^{\mathbf{T}} \\ &=\sum_{i=1}^{n}\left(\boldsymbol{x}_{\boldsymbol{i}}-\overline{\boldsymbol{x}}\right)^{2} \end{aligned}
\end{equation}

根据式(3)知$\boldsymbol{C}^{\mathrm{T}} \boldsymbol{C}=\boldsymbol{C} \boldsymbol{C}=\boldsymbol{C}$，上式又可简化为

\begin{equation}
\boldsymbol{x}^{\mathrm{T}} \boldsymbol{C x}=\sum_{i=1}^{\mathbf{n}}\left(x_{i}-\overline{\boldsymbol{x}}\right)^{2}
\end{equation}

右式是我们熟悉的数据$x_{1}, \cdots, x_{n}$的协方差。即是说，一组数据的协方差可以用核矩阵为中心化矩阵的二次型$\boldsymbol{x}^{\mathbf{T}} \boldsymbol{C} \boldsymbol{x}$ 表示。