设\(\sigma: V\rightarrow V\)是数域\(\mbox{F}\)上线性空间\(V\)的线性变换，\(W\)是\(V\)的子空间. 如果\(\sigma(W)\subseteq W\), 则称\(W\)是\(\sigma\)-不变子空间，简称\(\sigma\)-子空间. 例如\(\sigma\)的核空间\(\mbox{ker}(\sigma)\)、像空间\(\mbox{Im}(\sigma)\)以及特征子空间都是\(\sigma\)-不变子空间. 由于\(\sigma\)在某组基下的矩阵是分块对角矩阵当且仅当\(V\)能够分解成\(\sigma\)-不变子空间的直和，
所以不变子空间是研究线性变换或矩阵相似标准形的重要工具.

零空间和\(V\)本身称为\(V\)的平凡\(\sigma\)-不变子空间.
如果\(\sigma\)-不变子空间\(W\)不能分解成两个非平凡\(\sigma\)-不变子空间的直和，则称\(W\)是不可分解\(\sigma\)-不变子空间；如果\(W\)没有非平凡的\(\sigma\)-不变子空间，则称\(W\)是不可约\(\sigma\)-不变子空间.
本文引入了\(\sigma\)-不变子空间不可约性的概念，给出了不可约\(\sigma\)-不变子空间的充分条件，并分别讨论了复数域、实数域及有理数域上的不可约\(\sigma\)-不变子空间. 这些问题的研究，有助于学生深入理解不变子空间理论，培养学生的创新能力.

2020年大连理工大学 硕士生入学考试试题考查了如下问题：

例1
设\(\sigma: V\rightarrow V\)是复数域上\(n\)维线性空间\(V\)上的线性变换, 且\(V\)是\(\sigma\)-不可分解的. 求\(V\)的所有\(\sigma\)-不变子空间.

解
由《关于不变子空间不可分行的注记》定理3知，存在\(V\)的一组基\(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n\), 使得

\[\sigma(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)= (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n) A \]

其中

\[A=\left(\begin{array}{ccccc} \lambda&&&&\\ 1&\lambda&&&\\ &\ddots&\ddots&&\\ &&1&\lambda&\\ &&&1&\lambda \end{array}\right). \]

设\(W\)是\(V\)的任一\(\sigma\)-不变子空间，且\(\dim W=m\). 由《关于不变子空间不可分行的注记》定理2（2）知\(\varepsilon_n\in W\) (也可由下面的分析得到). 将\(\varepsilon_n\)扩充为\(W\)的一组基\(\alpha_{n-m+1},\cdots,\alpha_{n-1}, \varepsilon_n\). 设存在正整数\(s\geqslant 1\), 使得\(\alpha_{n-m+1},\cdots,\alpha_{n-1}\)可由\(\varepsilon_s,\varepsilon_{s+1},\cdots,\varepsilon_n\)线性表示，即

\[\alpha_i=\sum_{j=s}^nk_{ij}\varepsilon_j,\quad i=n-m+1,\cdots,n-1 \]

其中\(k_{n-m+1,s},\cdots,k_{n-1,s}\)不全为零(否则\(\alpha_{n-m+1},\cdots,\alpha_{n-1}\)可由\(\varepsilon_{s+1},\cdots,\varepsilon_n\)线性表示)，不妨设\(k_{n-1,s}\ne 0\). 由于

\[\begin{aligned} \sigma(\alpha_{n-1})=& \sigma (\sum_{j=s}^nk_{n-1,j}\varepsilon_j)=\sum_{j=s}^nk_{n-1,j}\sigma(\varepsilon_j) =\sum_{j=s}^nk_{n-1,j} (\lambda\varepsilon_j+ \varepsilon_{j+1})\\ =&\lambda\left( \sum_{j=s}^nk_{n-1,j}\varepsilon_j\right)+\sum_{j=s}^{n-1}k_{n-1,j} \varepsilon_{j+1} =\lambda\alpha_{n-1}+\beta_{n-1} \end{aligned} \]

其中\(\beta_{n-1}=\sum_{j=s}^{n-1} k_{n-1,j}\varepsilon_{j+1}=\sigma(\alpha_{n-1})-\lambda\alpha_{n-1}\in W\). 类似地，

\[\begin{aligned} \sigma(\beta_{n-1})=&\sigma(\sum_{j=s}^{n-1} k_{n-1,j}\varepsilon_{j+1}) =\sum_{j=s}^{n-1} k_{n-1,j}\sigma(\varepsilon_{j+1}) =\sum_{j=s}^{n-1} k_{n-1,j}(\lambda\varepsilon_{j+1}+\varepsilon_{j+2})\\ =&\lambda\left( \sum_{j=s}^{n-1} k_{n-1,j}\varepsilon_{j+1}\right) +\sum_{j=s}^{n-2} k_{n-1,j}\varepsilon_{j+2}=\lambda\beta_{n-1}+\beta_{n-2} \end{aligned} \]

其中\(\beta_{n-2}=\sum_{j=s}^{n-2} k_{n-1,j}\varepsilon_{j+2}=\sigma(\beta_{n-1})-\lambda\beta_{n-1}\in W\).

继续下去，我们得到

\[\beta_{n-3}=\sum_{j=s}^{n-3} k_{n-1,j}\varepsilon_{j+3}\in W,\cdots, \beta_{s+1}=k_{n-1,s}\varepsilon_{n-1}+k_{n-1,s+1}\varepsilon_n\in W \]

从而

\[k_{n-1,s}\varepsilon_{n-1}=\beta_{s+1}-k_{n-1,s+1}\varepsilon_n\in W \]

由于\(k_{n-1,s}\ne 0\), 所以\(\varepsilon_{n-1}\in W\). 类似地，

\[k_{n-1,s}\varepsilon_{n-2}=\beta_{s+2}-k_{n-1,s+1}\varepsilon_{n-1}-k_{n-1,s+2}\varepsilon_n\in W \]

由于\(k_{n-1,s}\ne 0\), 所以\(\varepsilon_{n-2}\in W\). 同理可得

\[\varepsilon_{n-3},\cdots,\varepsilon_s\in W. \]

于是，向量组\(\varepsilon_s,\cdots,\varepsilon_{n-1},\varepsilon_n\)可由向量组\(\alpha_{n-m+1},\alpha_{n-1}, \varepsilon_n\)线性表示，从而等价. 由于这两个向量组都线性无关，所以\(s=n-m+1\). 即

\[W=\mbox{span}(\varepsilon_{n-m+1},\varepsilon_{n-m+2},\cdots,\varepsilon_n). \]

因此\(V\)的所有\(\sigma\)-不变子空间共\(n+1\)个：

\[\{0\},\; W_i=\mbox{span}(\varepsilon_i,\varepsilon_{i+1},\cdots,\varepsilon_n),\; i=1,2,\cdots,n. \]

例1表明不可分解\(\sigma\)-不变子空间\(W\)可能有非平凡的\(\sigma\)-不变子空间. 如果\(W\)没有非平凡的\(\sigma\)-不变子空间，则称为\(\sigma\)-不可约的. 更确切地，我们有如下定义：

定义1 设\(\sigma: V\rightarrow V\)是数域\(\mbox{F}\)上线性空间\(V\)上的线性变换. 如果\(V\)中不存在非平凡的\(\sigma\)-不变子空间，则称\(V\)是不可约\(\sigma\)-不变子空间, 或简称\(V\)是\(\sigma\)-不可约的.

显然，不可约\(\sigma\)-不变子空间都是\(\sigma\)-不可分解的.

定理1 设\(\sigma: V\longrightarrow V\)是数域\(\mbox{F}\)上\(n\)维线性空间\(V\)上的线性变换，满足
\begin{itemize}
\item[(1)] \(\sigma\)的极小多项式在\(\mbox{F}\)上不可约；
\item[(2)] 存在向量\(v\in V\)使得\(\{\sigma^{i-1}(v)\mid i>0\}\)张成\(V\).
\end{itemize}
则\(V\)是不可约\(\sigma\)-不变子空间.

证明
(反证法) 设\(\dim V=n\), 假设\(W\)是\(V\)的\(\sigma\)-不变子空间，且\(1\leqslant \dim W<n\). 取\(W\)的一组基，并将其扩充为\(V\)的一组基，则\(\sigma\)在这组基下的矩阵为\(A=\begin{pmatrix} A_1&C\\ O&A_2 \end{pmatrix}\), 其中\(A_1\in\mbox{F}^{r\times r}, A_2\in\mbox{F}^{(n-r)\times (n-r)}\). 则\(A\)的特征多项式为

\[f_A(\lambda)=|\lambda E-A|=|\lambda E_r-A_1|\cdot |\lambda E_{n-r}-A_2|. \]

即\(f_A(\lambda)\)可分解为\(\mbox{F}\)上两个正次数多项式的乘积.

由(2)知\(V=\mbox{span}(v,\sigma(v),\cdots,\sigma^{n-1}(v))\). 设

\[\sigma^n(v)=c_0v+c_1\sigma(v)+\cdots+c_{n-1}\sigma^{n-1}(v),\; c_i\in\mbox{F}. \]

则\(\sigma\)在基\(v,\sigma(v),\cdots,\sigma^{n-1}(v)\)下的矩阵为

\[\begin{pmatrix} 0&&&&-c_0\\ 1&\ddots&&&-c_1\\ &\ddots&\ddots&&\vdots\\ &&\ddots&0&-c_{n-2}\\ &&&1&-c_{n-1} \end{pmatrix} \]

则\(\sigma\)的极小多项式与特征多项式相等\(~\!\!\!^{[4]}\)，因而在\(\mbox{F}\)上可约，与(1)矛盾！所以\(V\)中不存在非平凡的\(\sigma\)-不变子空间，即\(V\)是\(\sigma\)-不可约的. \hfill
\(\square\)

定理1给出了判定不可约\(\sigma\)-不变子空间的充分条件，且\(\sigma\)-不变子空间的不可约性与数域有关. 由该定理可得复数域上只有一维不可约\(\sigma\)-不变子空间, 而实数域上只有一维或二微不可约\(\sigma\)-不变子空间.

定理2 如果复数域上的线性空间\(V\)是不可约\(\sigma\)-不变子空间，则\(\dim V=1\).

证明 设\(\dim V=n\). 若\(V\)是不可约\(\sigma\)-不变子空间，则\(V\)是不可分解\(\sigma\)-不变子空间，从而由文献[3]定理3知存在\(V\)的一组基\(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n\)使得\(\sigma\)在该基下的矩阵是Jordan块\(J_n(\lambda)\). 若\(n>1\), 则由例1知\(V\)有\(n-1\)个非平凡的\(\sigma\)-不变子空间，与\(V\)是\(\sigma\)-不可约矛盾！所以\(n=1\).

定理3 设\(V\)是实数域\(\mathbb{R}\)上的\(n\)维线性空间，\(\sigma\)是\(V\)上的一个线性变换，则\(V\)只有1维或2维不可约\(\sigma\)-不变子空间.

证明
若\(\sigma\)有实特征值\(\lambda\)，对应的特征向量为\(\xi\), 则\(W=\mbox{span}(\xi)\)是\(V\)的一维不可约\(\sigma\)-不变子空间.

若\(\sigma\)没有实特征值，设\(\sigma\)在基\(\eta_1,\eta_2,\cdots,\eta_n\)下的矩阵为\(A\), 则\(A\)也没有实特征值. 设\(a+b\rm{i}\)是\(A\)的一个复特征值，\(X+Y\rm{i}\)是对应的特征向量，其中\(X,Y\in\mathbb{R}^n, Y\ne 0\). 则

\[A(X+Y{\rm i})=(a+b{\rm i})(X+Y{\rm i}). \]

比较等式两端的实部与虚部，得

\[AX=aX-bY, AY=aY+bX. \]

若\(X,Y\)线性相关，不妨设\(X=kY\), 则\(AY=(a+bk)Y\), 即\(A\)有实特征值\(a+bk\), 矛盾！所以\(X,Y\)线性无关. 设\(X=(x_1,x_2,\cdots,x_n)^T, Y=(y_1,y_2,\cdots,y_n)^T\), 令

\[\alpha=\sum_{i=1}^nx_i\eta_i,\; \beta=\sum_{i=1}^ny_i\eta_i. \]

则\(\alpha,\beta\in V\)也线性无关, 且\(\sigma(\alpha)=a\alpha-b\beta,\; \sigma(\beta)=a\beta+b\alpha\). 令\(W=\mbox{span}(\alpha,\beta)\), 则\(W\)是\(V\)的2维不可约\(\sigma\)-不变子空间.

设\(U\)是\(V\)的任一\(\sigma\)-不变子空间，且\(\dim U>2\), 则由上面的讨论知\(U\)有1维或2维不可约\(\sigma\)-不变子空间，从而\(U\)不是\(\sigma\)-不可约的. \(\square\)

由定理1可得有理数域\(\mathbb{Q}\)上可能有任意维不可约\(\sigma\)-不变子空间. 例如，设\(f(x)=x^n-2\), 由Eisentein判别法知\(f(x)\)在有理数域上不可约. 令

\[C=\begin{pmatrix} 0&&&&2\\ 1&\ddots&&&0\\ &\ddots&\ddots&&\vdots\\ &&\ddots&0&0\\ &&&1&0 \end{pmatrix} \]

是对应于多项式\(f(x)\)的Frobenius块，定义

\[\sigma: \mathbb{Q}^n\rightarrow \mathbb{Q}^n,\quad x\mapsto Cx \]

则\(\sigma\)的极小多项式

\[m_\sigma(x)=x^n-2 \]

在有理数域上不可约, 且

\[e_1,\sigma(e_1)=Ce_1=e_2,\cdots,\sigma^{n-1}(e_1)=C^{n-1}(e_1)=e_n \]

是\(\mathbb{Q}^n\)的一组基，由定理1知\(\mathbb{Q}^n\)是不可约\(\sigma\)-不变子空间.