设\(\sigma: V\rightarrow V\)是数域\(\mbox{F}\)上线性空间\(V\)的线性变换，\(W\)是\(V\)的子空间. 如果\(\sigma(W)\subseteq W\), 则称\(W\)是\(\sigma\)-不变子空间，简称\(\sigma\)-子空间. 例如\(\sigma\)的特征子空间就是\(\sigma\)-不变子空间，而且\(\sigma\)可对角化的充要条件是\(V\)能分解成\(\sigma\)的特征子空间的直和. 若\(\sigma\)不可对角化，如果\(V\)能够分解成\(\sigma\)-不变子空间的直和，即

\[V=V_1\oplus V_2\oplus\cdots\oplus V_s, \]

其中\(V_i\)是\(\sigma\)-不变子空间, \(1\leqslant i\leqslant s\). 则从每个\(V_i\)中取一组基，共同构成\(V\)的一组基，则\(\sigma\)在该基瞎的矩阵是分块对角矩阵

\[\begin{pmatrix} A_1&&&\\ &A_2&&\\ &&\ddots&\\ &&&A_s \end{pmatrix}. \]

因此不变子空间是研究线性变换或矩阵相似标准形的重要工具.

给定线性变换\(\sigma: V\rightarrow V\), 本文引入\(\sigma\)-不变子空间不可分解性与不可约性的概念，证明了有限维线性空间\(V\)能够分解成有限个不可分解\(\sigma\)-不变子空间的直和，讨论了不可分解\(\sigma\)-不变子空间的性质、判定，以及与相似对角化之间的关系. 这些问题的研究，有助于学生深入理解不变子空间理论，培养学生的创新能力.

设\(\sigma: V\rightarrow V\)是数域\(\mbox{F}\)上线性空间\(V\)的线性变换，则子空间\(\{0\}\)与\(V\)显然是\(\sigma\)-不变子空间，称为平凡不变子空间.

{\bf 定义1} 设\(\sigma: V\rightarrow V\)是数域\(\mbox{F}\)上线性空间\(V\)的线性变换，\(W\)是\(\sigma\)-不变子空间. 如果\(W\)不能分解成两个非平凡的\(\sigma\)-不变子空间的直和，则称\(W\)是不可分解\(\sigma\)-不变子空间，或简称\(W\)是\(\sigma\)-不可分解的.

定理1 设\(V\)是数域\(\mbox{F}\)上的\(n\)维线性空间, \(\sigma\)是\(V\)上的线性变换，则\(V\)能分解成有限个不可分解\(\sigma\)-不变子空间的直和.

证明 对\(n\)作数学归纳法. 当\(n=1\)时结论显然成立. 假设结论对\(n-1\)成立，考虑\(n\)维线性空间\(V\). 如果\(V\)是\(\sigma\)-不可分解的，则结论成立. 否则，\(V=V_1\oplus V_2\),\(V_1,V_2\)都是\(\sigma\)-不变子空间，且\(\dim V_1<n, \dim V_2<n\). 由归纳假设，\(V_1,V_2\)都能分解成有限个不可分解\(\sigma\)-不变子空间的直和，从而\(V\)也能分解成有限个不可分解\(\sigma\)-不变子空间的直和. \(\square\)

引理1 线性空间\(V\)能够分解成\(\sigma\)-不变子空间的直和当且仅当存在\(V\)的一组基使得\(\sigma\)在该基下的矩阵是分块对角矩阵.

定理2 设\(V\)是复数域上的\(n\)维线性空间, 线性变换\(\sigma: V\rightarrow V\)在\(V\)的基\(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n\) 下的矩阵是一Jordan块. 则

(1) \(V\)中包含\(\varepsilon_1\)的\(\sigma\)-子空间只有\(V\)自身；

(2) \(V\)中任一非零\(\sigma\)-子空间都包含\(\varepsilon_n\)；

(3) \(V\)是\(\sigma\)-不可分解的.

证明 设
\(\sigma(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)= (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n) \left(\begin{array}{ccccc} \lambda&&&&\\ 1&\lambda&&&\\ &\ddots&\ddots&&\\ &&1&\lambda&\\ &&&1&\lambda \end{array}\right)\).

(1) 设\(W\)是\(V\)的包含\(\varepsilon_1\)的\(\sigma\)-子空间. 因为\(\sigma\varepsilon_1=\lambda\varepsilon_1+\varepsilon_2\), \(\sigma\varepsilon_1,\varepsilon_1\in W\), 所以\(\varepsilon_2=\sigma\varepsilon_1-\lambda\varepsilon_1\in W\); 类似地, \(\varepsilon_3=\sigma\varepsilon_2-\lambda_2\varepsilon_2\in W, \cdots,\varepsilon_n=\sigma\varepsilon_{n-1}-\lambda\varepsilon_{n-1} \in W\). 所以\(W=V\).

(2) 设\(W\)是\(V\)的任一非零\(\sigma\)-子空间. 取\(0\ne\alpha\in W\), \(\alpha=\sum_{j=1}^na_j\varepsilon_j\). 设\(a_i\)是第一个不为零的系数, 则

\[\begin{array}{rl} \sigma\alpha=&\sum_{j=i}^na_j\sigma\varepsilon_j=\sum_{j=i}^{n-1} a_j(\lambda\varepsilon_j+\varepsilon_{j+1})+a_n\lambda\varepsilon_n\\ =&\lambda(\sum_{j=i}^na_j\varepsilon_j)+ \sum_{j=i}^{n-1}a_j\varepsilon_{j+1}\\ =&\lambda\alpha+\alpha_1 \end{array} \]

由于\(\sigma\alpha,\lambda\alpha\in W\), 所以\(\alpha_1=\sum_{j=i}^{n-1}a_j\varepsilon_{j+1}\in W\).
类似地,

\[\begin{array}{rl} \sigma\alpha_1=&\sum_{j=i}^{n-1}a_j\sigma\varepsilon_{j+1} =\sum_{j=i}^{n-2} a_j(\lambda\varepsilon_{j+1}+\varepsilon_{j+2})+ a_{n-1}\lambda\varepsilon_n\\ =&\lambda(\sum_{j=i}^{n-1}a_j\varepsilon_{j+1})+ \sum_{j=i}^{n-2}a_j\varepsilon_{j+2}\\ =&\lambda\alpha_1+\alpha_2 \end{array} \]

由于\(\sigma\alpha_1,\lambda\alpha_1\in W\), 所以\(\alpha_2=\sum_{j=i}^{n-2}a_j\varepsilon_{j+2}\in W\).
如此继续, 可得

\[\alpha_{n-i}=a_i\varepsilon_n\in W. \]

故\(\varepsilon_n\in W\).

(3) 由(2)即得. \(\square\)

定理2表明，如果线性变换\(\sigma: V\rightarrow V\)在某组基下的矩阵表示是一个Jordan块，则\(V\)是\(\sigma\)-不可分解的. 该定理的逆命题也是正确的.

定理3 设\(\sigma: V\rightarrow V\)是复数域上的\(n\)维线性空间\(V\)上的线性变换，则\(V\)是\(\sigma\)-不可分解的当且仅当存在\(V\)的一组基使得\(\sigma\)在该基下的矩阵是一个Jordan块.

证明 充分性见定理2，下证必要性.

假设\(\sigma\)在某基下的Jordan标准形不是一个Jordan块，则由引理1知\(V\)能够分解成\(\sigma\)-不变子空间的直和，矛盾！所以\(\sigma\)在该基下的矩阵是一个Jordan块. \hfill\(\square\)

定义2 设\(\id: V\rightarrow V\)是恒等变换，\(\lambda\in \mbox{F}\), 线性变换\(\sigma-\lambda\id\)称为\(n\)-诣零的，如果存在非零向量\(\alpha\in V\)，使得\((\sigma-\lambda\id)^{n-1}(\alpha)\ne 0\), 但\((\sigma-\lambda\id)^n(\alpha)=0\).

引理2 设非零向量\(\alpha\in V\)，使得\((\sigma-\lambda\id)^{n-1}(\alpha)\ne 0\), 但\((\sigma-\lambda\id)^n(\alpha)=0\)，则

\[\alpha,(\sigma-\lambda\id)(\alpha),\cdots,(\sigma-\lambda\id)^{n-1}(\alpha) \]

线性无关.

证明 设

\[k_0\alpha+k_1(\sigma-\lambda\id)(\alpha)+\cdots+k_{n-1},(\sigma-\lambda\id)^{n-1}(\alpha)=0 \]

等式两边左乘\((\sigma-\lambda\id)^{n-1}\), 得\(k_0(\sigma-\lambda\id)^{n-1}(\alpha)=0\), 从而\(k_0=0\). 于是上式变为

\[k_1(\sigma-\lambda\id)(\alpha)+\cdots+k_{n-1},(\sigma-\lambda\id)^{n-1}(\alpha)=0 \]

等式两边左乘\((\sigma-\lambda\id)^{n-2}\), 得\(k_1(\sigma-\lambda\id)^{n-1}(\alpha)=0\), 从而\(k_1=0\). 同理可得\(k_2=\cdots=k_{n-1}=0\), 故\(\alpha,(\sigma-\lambda\id)(\alpha),\cdots,(\sigma-\lambda\id)^{n-1}(\alpha)\)线性无关.
\(\square\)

推论1 \(n\)维线性空间\(V\)是\(\sigma\)-不可分解的当且当存在\(\lambda\in\mF\)使得\(\sigma-\lambda\id\)是\(n\)-诣零变换.

证明 充分性：若\(\sigma-\lambda\id\)是\(n\)-诣零变换，则存在非零向量\(\alpha\in V\)，使得\((\sigma-\lambda\id)^{n-1}(\alpha)\ne 0\), 但\((\sigma-\lambda\id)^n(\alpha)=0\). 由引理2知\(\alpha,(\sigma-\lambda\id)(\alpha),\cdots,(\sigma-\lambda\id)^{n-1}(\alpha)\)线性无关，因此是\(V\)的一组基. 不难验证\(\sigma\)在这组基下的矩阵为

\[J_n(\lambda)=\begin{pmatrix} \lambda&&&&\\ 1&\lambda&&&\\ &\ddots&\ddots&&\\ &&1&\lambda&\\ &&&1&\lambda \end{pmatrix}. \]

由定理3知\(V\)是\(\sigma\)-不可分解的.

必要性：若\(V\)是\(\sigma\)-不可分解的，则由定理3知存在\(V\)的一组基\(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n\)使得

\[\sigma(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)= (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n) \left(\begin{array}{ccccc} \lambda&&&&\\ 1&\lambda&&&\\ &\ddots&\ddots&&\\ &&1&\lambda&\\ &&&1&\lambda \end{array}\right). \]

于是

\[(\sigma-\lambda\id)(\varepsilon_1)=\varepsilon_2,(\sigma-\lambda\id)^2(\varepsilon_1)=\varepsilon_3,\cdots,(\sigma-\lambda\id)^{n-1}(\varepsilon_1)=\varepsilon_n \]

且\((\sigma-\lambda\id)^n(\varepsilon_1)=0\). 所以\(\sigma-\lambda\id\)是\(n\)-诣零变换.
\hfill\(\square\)

由于特征值的几何重数等于Jordan标准形中对应于该特征值的Jordan快的个数，我们有如下推论：

推论2 \(V\)是\(\sigma\)-不可分解的当且当\(\sigma\)仅有一个特征值且其几何重数等于1.

记\(\mathscr{L}(V)\)是线性空间\(V\)上的所有线性变换关于映射的加法与数乘做成的线性空间.

\[\mbox{End}_{\sigma}(V)=\{\tau\in\mathscr{L}(V)\mid \sigma\tau =\tau\sigma\} \]

关于映射的加法与乘法做成一个环，称为线性变换\(\sigma\)的自同态环.
设线性变换\(\sigma,\tau: V\rightarrow V\)在\(V\)的某组基下的矩阵为\(A,B\), 如果\(\sigma\tau =\tau\sigma\), 则\(AB=BA\). 记\(\mathcal{C}(A)=\{B\in\mbox{F}^{n\times n}\mid AB=BA\}\)为\(A\)的中心化子，则

\[\mbox{End}_{\sigma}(V)\cong \mathcal{C}(A). \]

如果环\(R\)有唯一的极大左（右）理想，则称\(R\)为局部环. 若局部环\(R\)是有单位元\(1\)的环，则\(0\)和\(1\)是环\(R\)仅有的幂等元.

定理4 线性空间\(V\)是\(\sigma\)-不可分解的当且仅当\(\mbox{End}_{\sigma}(V)\)是局部环.

证明 必要性：如果\(V\)是\(\sigma\)-不可分解的，则由定理3知存在\(V\)的一组基使得\(\sigma\)在该基下的矩阵是一个Jordan块\(JJ_n(\lambda)\). 从而

\[\mbox{End}_{\sigma}(V)\cong \mathcal{C}(J)=\left\{ \begin{pmatrix} a_1&&&&\\ a_2&a_1&&&\\ \vdots&\ddots&\ddots&&\\ a_{n-1}&\ddots&\ddots&a_1&\\ a_n&a_{n-1}&\cdots&a_2&a_1 \end{pmatrix}\mid a_1,a_2,\cdots,a_n\in\mF\right\} \]

显然

\[\left\{ \begin{pmatrix} 0&&&&\\ a_2&0&&&\\ \vdots&\ddots&\ddots&&\\ a_{n-1}&\ddots&\ddots&0&\\ a_n&a_{n-1}&\cdots&a_2&0 \end{pmatrix}\mid a_2,\cdots,a_n\in\mF\right\} \]

是\(\mathcal{C}(J)\)的唯一的极大理想，从而是局部环.

充分性：反证法，假设\(V\)是\(\sigma\)-可分解的，设

\[V=V_1\oplus V_2\oplus\cdots\oplus V_s, \]

其中\(V_i\)是\(\sigma\)-{不变子空间, \(1\leqslant i\leqslant s\). 设\(\alpha=\alpha_1+\alpha_2+\cdots+\alpha_s\), \(\alpha_i\in V_i (1\leqslant i\leqslant s)\), 定义投影变换

\[p_i: V\rightarrow V,\quad \alpha\mapsto \alpha_i,\; i=1,2,\cdots,s. \]

则\(p_i\in\mbox{End}_{\sigma}(V)\)是幂等元，\(i=1,2,\cdots,s\).
所以\(\mbox{End}_{\sigma}(V)\)不是局部环，矛盾！故\(V\)是\(\sigma\)-不可分解的. \(\square\)

引理3 线性变换\(\sigma\)可对角化当且仅当对任意\(\sigma\)-不变子空间\(W\), \(\sigma\!\!\mid_W\)都是可对角化的.

证明 设\(\sigma\)的极小多项式为\(m(\lambda)\), \(\sigma|_W\)的极小多项式为\(m_1(\lambda)\).
则对任意\(\alpha\in W\),

\[m(\sigma|_W)\alpha=m(\sigma)\alpha=0. \]

所以\(m(\sigma|_W)=0\), 即\(m(\lambda)\)是\(\sigma|_W\)的零化多项式, 从而\(m_1(\lambda)\mid m(\lambda)\).
由于\(\sigma\)可对角化, 所以\(m(\lambda)\)在\(\mbox{F}[\lambda]\)中可分解成不同的一次因式的乘积,
因此\(m_1(\lambda)\)在\(\mbox{F}[\lambda]\)中也可分解成不同的一次因式的乘积,
即\(\sigma|_W\)也可对角化. \(\square\)

定理5 \(\sigma\)可相似对角化当且仅当不可分解\(\sigma\)-不变子空间都是一维的.

证明 必要性：设\(W\)是任一不可分解\(\sigma\)-不变子空间，则由引理3知\(\sigma\!\!\mid_W: W\rightarrow W\)是可对角化的，从而\(\sigma\!\!\mid_W\)的Jordan标准形中的Jordan块都是1阶的. 由定理3知\(\dim W=1\).

充分性：如果不可分解\(\sigma\)-不变子空间都是一维的，则由定理1得

\[V=V_1\oplus V_2\oplus\cdots\oplus V_n \]

其中\(V_i\)是不可分解\(\sigma\)-不变子空间，且\(\dim V_i=1\), \(i=1,2,\cdots,n\). 于是对任意\(\alpha_i\in V_i\), \(\sigma(\alpha_i)=\lambda_i\alpha_i\), 即\(\alpha_i\)是\(V_i\)的特征向量，故\(V\)有\(n\)个线性无关的特征向量，从而\(\sigma\)可对角化. \(\square\)