线性代数

 

Vector spaces

Definition B.1. 一个域 field \(\mathbb{F}\) 是一个带有 \(+\ *\) 运算的集合，满足

• 交换律 communicativity \(a+b=b+a,\ ab=ba\)
• 结合律 associativity \(a+(b+c)=(a+b)+c,\ a(bc)=(ab)c\)
• 单位元 identity \(a+0=a,\ 1a = a\)
• 可逆性 invertibility \(a+(-a)=0,\ aa^{-1}=1\)
• 分配律 distributivity \(a(b+c)=ab+ac\)

 

Definition B.2. 一个域 \(\mathbb{F}\) 上的向量空间或线性空间是一个带有 \(+\ \times\) 运算的集合 \(V\) ，分别为向量加法和数乘，满足

• 交换律 communicativity \(u+v=v+u\)
• 结合律 associativity \((u+v)+w=u+(v+w)\)
• 相容性 compatibility \((ab)u = a(bu)\)
• 加法元 additive identity \(u+0=u\)
• 加法逆 additive inverse \(u+(-u) = 0\)
• 乘法元 multiplicative identity \(1u=u\)
• 分配律 distributive laws

集合 \(V\) 中的元素称为向量，域 \(\mathbb{F}\) 中的元素称为标量.

 

Definition B.3. 一个实向量空间或复向量空间是一个 \(\mathbb{F}=\mathbb{R}\) 和 \(\mathbb{F}=\mathbb{C}\) 的空间.

 

Subspaces

Definition B.6. 如果向量空间 \(V\) 的子集 \(U\) 是一个向量空间，就称 \(U\) 是一个子空间 subspace .

 

Definition B.7. 设 \(U_1,\cdots,U_m\) 是 \(V\) 的子集，则它们的和 sum 定义为

显然这是包含 \(U_1,\cdots,U_m\) 的最小向量空间.

 

Definition B.10. 若 \(\forall u\in U_1+\cdots+U_m\) ，有唯一分解

则称 \(U_1+\cdots+U_m\) 是一个直和 direct sum ，记为 \(U_1\oplus\cdots\oplus U_m\) ；容易证明，它是直和当且仅当 \(0\) 的分解在 \(U_j\) 中各分量都为 \(0\) .

 

Theorem B.13. 若 \(U,W\in V\) 是子空间，则 \(U+W\) 是直和当且仅当 \(U\cap W=\{0\}\) .

 

Span and linear independence

Notation 15. 对于集合 \(S\) ，定义向量空间

可以看出 \(\mathbb{F}^n\) 是上面向量空间的特殊情况，因为可以定义

即 \(n\) 可以看做 \(\{1,2,\cdots,n\}\) ，而 \(\mathbb{F}^n\) 中的元素看做是函数 \(f\) ，它将每一个指标 \(i\in\{1,2,\cdots,n\}\) 对应到 \(\mathbb{F}\) 中的元素.

 

Definition B.18 一列向量 \(\{v_i\}\) 的线性组合 linear combination 是具有形式 \(\sum_ia_iv_i,\ a_i\in\mathbb{F}\) 的向量.

 

Definition B.21. 一列向量 \(\{v_i\}\) 的扩张 span 是其中向量全部线性组合的集合

特别的，空集的扩张是 \(\{0\}\) 。我们称 \((v_1,\cdots,v_m)\) 张成 \(V\) 若 \(V = \mathrm{span}(v_1,\cdots,v_m)\) .

 

Definition B.23. 若向量空间 \(V\) 由有限个向量张成，则称它有有限维 finite dimensional ，否则称它有无限维 infinite dimensional .

 

Definition B.25. 向量空间 \(V\) 中的一列向量 \((v_1,\cdots,v_m)\) 线性无关 linearly independent 当且仅当

否则称它们线性相关.

 

Lemma B.30 (Linear dependence lemma). 设 \((v_1,\cdots,v_m)\) 线性相关，则存在 \(j\in\{1,2,\cdots,m\}\) 使得

• \(v_j\in\mathrm{span}(v_1,\cdots,v_{j-1})\)
• 若将 \(v_j\) 从中移除，则剩余向量张成的空间仍为 \(\mathrm{span}(v_1,\cdots,v_m)\)

 

Lemma B.31. 有限维向量空间中线性无关的向量列的长度不大于张成该空间的线性无关向量个数.

 

Bases

Definition B.32. 向量空间 \(V\) 的一个基 basis 是一列张成 \(V\) 的线性无关向量.

 

Definition B.33. 在 \(\mathbb{F}^n\) 中的标准基 standard basis 是 \((1,0,\cdots,0)^T,\cdots,(0,0,\cdots,1)^T\) .

 

Lemma B.35. 向量列 \((v_1,\cdots,v_n)\) 是 \(V\) 中的基当且仅当 \(\forall u\in V\) ，有唯一分解

 

Lemma B.36. 任意张成 \(V\) 的向量列都可以削减为一个基.

 

Lemma B.37. 有限维空间中的线性无关向量组总是可以扩张为一组基.

 

Dimension

Lemma B.38. 任意有限维向量空间的两个基有相同长度.

\(Proof.\) 实际上，由 Lemma B.31 我们知道线性无关向量组的长度不大于张成它的向量组的长度，于是容易得证.

 

Definition B.39. 有限维向量空间 \(V\) 的维数 dimension 记为 \(\dim V\) ，等于基的长度.

 

Lemma B.40. 张成有限维向量空间 \(V\) 的长度为 \(\dim V\) 的向量组构成基.

 

Lemma B.41. 有限维向量空间 \(V\) 中长度为 \(\dim V\) 的线性无关组都是基.

 

Linear maps

Definition B.42. 两个向量空间 \(V,W\) 间的线性映射 linear map /线性变换 linear transformation 是一个函数 \(T:V\to W\) ，满足

• \(\forall u,v,\in V,\ T(u+v)=Tu+Tv\)
• \(\forall a\in\mathbb{F},\forall v\in V,\ T(av)=a(Tv)\)

其中 \(\mathbb{F}\) 是标量域。特别的，如果 \(W=V\) ，则称 \(T\) 为一个线性算子 linear operator .

 

Notation 16. 全体 \(V\) 到 \(W\) 的映射记为 \(\mathcal{L}(V,W)\) ，全体 \(V\) 上的线性算子记为 \(\mathcal{L}(V)\) .

 

Lemma B.45. 集合 \(\mathcal{L}(V,W)\) 带有数乘 \((aT)v=a(Tv)\) 和向量加法 \((S+T)v=Sv+Tv\) 构成一个向量空间.

 

Definition B.46. 单位映射 identity map 记为 \(I\) ，将任意元素映射到它自身 \(Iv=v\) .

 

Definition B.47. 复线性泛函 complex linear functional 是一个线性映射 \(T:V\to\mathbb{C}\) ，将 \(\mathbb{C}\) 作为 \(V\) 的 underlying field ；而实线性泛函 real linear functional 是一个映射 \(T:V\to\mathbb{R}\) 使得对 \(\mathbb{F}=\mathbb{R}\) 符合线性映射的定义.

 

Lemma B.48. 令 \(V\) 为一个复向量空间和其上的复线性泛函 \(f\) ，则实部 \(\mathrm{Re} f(x)=u(x)\) 满足

\(Proof.\) 注意到 \(z=\mathrm{Re}(z)-i\mathrm{Re}(iz)\) ，取 \(z=f(x)\) 就有

其中第二步是根据数乘性质得到的.

 

Lemma B.49. 令 \(V\) 为一个复向量空间和其上的实线性泛函 \(u:V\to\mathbb{R}\) ，则 \(f(x) =u(x)-iu(ix)\) 是复线性泛函.

\(Proof.\) 类似地有

从而证明了关于 \(i\) 数乘关系，且关于实数的数乘和向量加法由实线性泛函保证，即证.

 

Null spaces and ranges

Definition B.50. 线性映射 \(T\in \mathcal{L}(V,W)\) 的核空间 null space 是 \(V\) 的子集

即是在 \(T\) 下映到 \(0\) 的向量集.

 

Theorem B.52. 线性映射 \(T\in \mathcal{L}(V,W)\) 是单射当且仅当 \(\mathrm{null}\ T=\{0\}\) .

 

Definition B.53. 线性映射 \(T\in \mathcal{L}(V,W)\) 的像空间 range space 是 \(W\) 的子集

即是在 \(T\) 下映到的向量集.

 

Theorem B.55. 像空间是 \(W\) 的子空间.

 

Theorem B.56 (The counting theroem or the fundamental theroem of linear maps). 若 \(V\) 是有限维向量空间， \(T\in \mathcal{L}(V,W)\) ，则像空间是 \(W\) 的有限维子空间，并且

容易看出，核空间也是 \(V\) 的子空间，有一组基；像空间的基对应到 \(V\) 中的线性无关组，它们共同构成 \(V\) 的一组基.

 

Theorem B.57. 对于算子 \(T\in \mathcal{L}(V)\) ，下面陈述等价：

• \(T\) 可逆
• \(T\) 是单射
• \(T\) 是双射

 

The matrix of a linear map

Definition B.58. 线性映射 \(T\in \mathcal{L}(V,W)\) 的矩阵由 \(V,W\) 的基确定，表示为

它是一个 \(m\times n\) 矩阵 \(A(T)\) ，其元素 \(a_{i,j}\in\mathbb{F}\) 满足

这也就意味着 \(T(v_1,\cdots,v_n)=(w_1,\cdots,w_m)A\) .

 

Duality

Dual vector spaces

Deifinition B.60. 向量空间 \(V\) 的对偶空间 dual space 是其上所有线性泛函的向量空间 \(V^{\prime}=\mathcal{L}(V,F)\) .

也就是所有形如 \(\varphi:V\to\mathbb{F}\) 的函数的集合，其中 \(\mathbb{F}\) 是 \(V\) 使用的数域，它们构成一个向量空间 \(V^\prime\) .

 

Definition B.61. 对于 \(V\) 的基 \(v_1,\cdots,v_n\) ，它的对偶基 dual basis 是 \(\varphi_1,\cdots,\varphi_n\) 满足

换言之，只有当 \(\varphi_j(v_k)\) 的两个下标相同它才取非零值 \(1\) .

 

Lemma B.63. 有限维向量空间 \(V\) 满足 \(\dim V^\prime = \dim V\) .

 

Definition B.64. 向量空间 \(V\) 的重对偶空间 double dual space 为 \(V^{\prime\prime}=(V^{\prime})^\prime\) .

 

Lemma B.65. 函数 \(\Lambda:V\to V^{\prime\prime}\) 定义为

是一个线性双射。其将向量 \(v\in V\) 映到一个函数 \(\Lambda v\in V^{\prime\prime}\) ， \(\Lambda v\) 是 \(V^\prime\) 上的线性泛函，它将 \(\varphi\in V^\prime\) 映到 \(\varphi(v)\in \mathbb{F}\) .

 

Dual linear maps

Definition B.66. 线性映射 \(T:V\to W\) 的对偶映射 dual map 是线性映射 \(T^\prime:W^\prime\to V^\prime\) 定义为

映射关系 \(\psi:W\to\mathbb{F}\) ，因此有 \(\psi\circ T:V\to\mathbb{F}\) ，即 \(\psi\in W^\prime,\ \psi\circ T\in V^{\prime}\) ，这确实是正确的映射关系.

 

Theorem B.68. \(T^\prime\) 的矩阵是 \(T\) 的矩阵的转置.

\(Proof.\) 我们不妨假设对 \(T:v\mapsto w,\ T^\prime:\psi\mapsto\varphi\) 有变换矩阵

根据 \(T^{\prime}(\psi)=\psi\circ T\) ，考虑上面的式子

注意第二步用到了 \(\psi_k(w_k)=1\) ，其它均为 \(0\) 的性质；根据第二个变换，注意到 \(T^\prime(\psi_k) = \sum_{i=1}^nc_{ik}\varphi_i\) ，则有

类似地使用 \(\varphi_i(v_i)=1\) ，其它均为 \(0\) 的性质。上下两式相同，于是 \(A=C^T\) .

 

Definition B.69. 线性映射 \(T:V\to W\) 的重对偶映射 double dual map 是线性映射 \(T^{\prime\prime}:V^{\prime\prime}\to W^{\prime\prime}\) 定义为 \(T^{\prime\prime}=(T^\prime)^\prime\) .

 

Theorem B.70. 对于 \(T\in \mathcal{L}(V)\) 和 \(\Lambda:V\to V^{\prime\prime}\) 有

\(Proof.\) 根据定义我们有 \(T^{\prime\prime}\circ \Lambda:V\to V^{\prime\prime}\) ，根据 \(T^{\prime}(\varphi) = \varphi\circ T\) 有第二步

我们得到 \(\Lambda v\circ T^\prime\in V^{\prime\prime}\) ，它是 \(V^\prime\) 的对偶空间，由于 \(T^\prime\varphi\in V^\prime\) ，根据 \((\Lambda v)(\varphi)=\varphi(v)\) 就有

于是 \((T^{\prime\prime}\circ \Lambda)v\varphi = (\Lambda\circ T)v\varphi\) ，因而 \(T^{\prime\prime}\circ \Lambda = \Lambda\circ T\) .

 

Corollary B.71. 对于 \(T\in \mathcal{L}(V)\) ，若 \(V\) 是有限维，则重对偶映射为

这是 Theorem B.70 和 Lemma B.65 的直接推论.

 

The null space and range of the dual of a linear map

Definition B.72. 子空间 \(U\subset V\) 的零化子 annihilator 定义为

零化子是将 \(U\) 映到 \(\{0\}\) 的对偶映射 \(\varphi\in V^\prime\) 的集合，即 \(\varphi:U\to \{0\}\) .

 

Lemma B.75. 零化子 \(U^0\subset V^\prime\) 是子空间.

 

Lemma B.77. 设 \(V\) 有限维，则有

\(Proof.\) 子空间的维数和其零化子的维数和就是 \(V\) 的维数。我们先取 \(U\) 中的基 \(u_1,\cdots,u_m\) ，然后将其扩张为 \(V\) 中的基 \(u_1,\cdots,u_n\) ，则它们对应 \(V^\prime\) 中的基 \(\varphi_1,\cdots,\varphi_n\) 。根据对偶基的定义，只有下标相同的作用才非零，于是 \(\varphi_{m+1},\cdots,\varphi_n\in U^0\) ， 它们就是 \(U^0\) 的基，因此有 \(\dim U+\dim U^0=\dim V\) .

 

Lemma B.78. 任意线性映射 \(T\in \mathcal{L}(V,W)\) 满足

\(Proof.\) 我们知道 \(\mathrm{range}\ T\sub W\) ，则 \((\mathrm{range}\ T)^0\sub W^\prime\) ，它是将 \(\mathrm{range}\ T\) 映到 \(0\) 的映射 \(\psi\in W^\prime\) 的集合；另一方面， \(\mathrm{null}\ T^\prime \sub W^\prime\) ，它是被 \(T^\prime\) 映到 \(0\) 的映射 \(\psi\in W^\prime\) 的集合.

 

Lemma B.79. 有限维向量空间 \(V,W\) 上的任意线性映射 \(T\in \mathcal{L}(V,W)\) 满足

\(Proof.\) 根据先前的引理 \(\mathrm{null}\ T^\prime = (\mathrm{range}\ T)^0\) 有

又知道 \(\dim \mathrm{range}\ T = \dim V - \dim\mathrm{null}\ T\) ，因此

注意 \(\mathrm{range}\ T\sub W\) ，因此 Lemma B.77 要应用在 \(W\) 上.

 

Note. 事实上，如果稍微改写上面的等式，会得到一个较为直观的结果。由于 \(\dim W=\dim W^\prime\) ，于是

多次移项就得到下式

这样两边的关系就更加清晰：\(\mathrm{null}\ T^\prime \sub W^\prime,\ \mathrm{null}\ T\sub V\) ，两个空间中剩余的维数相同.

 

Corollary B.80. 有限维向量空间 \(V,W\) 上的任意线性映射 \(T\in \mathcal{L}(V,W)\) 满射当且仅当 \(T^\prime\) 是单射.

\(Proof.\) 事实上，容易看出

左边蕴含 \(T^\prime\) 是单射，右边蕴含 \(T\) 是满射.

 

Lemma B.81. 有限维向量空间 \(V,W\) 上的任意线性映射 \(T\in \mathcal{L}(V,W)\) 满足

\(Proof.\) 在这里我们就看到改写式子的直观性

也就说明了 Lemma B.79 的本质是 \(T,T^\prime\) 像空间的维数相同.

 

Lemma B.82. 有限维向量空间 \(V,W\) 上的任意线性映射 \(T\in \mathcal{L}(V,W)\) 满足

\(Proof.\) 此引理的证明类似于 Lemma B.78 ，实际上 \(\mathrm{null}\ T^\prime = (\mathrm{range}\ T)^0\) 与上式完全是互补的.

 

Corollary B.83. 有限维向量空间 \(V,W\) 上的任意线性映射 \(T\in \mathcal{L}(V,W)\) 单射当且仅当 \(T^\prime\) 是满射.

\(Proof.\) 证明类似于 Corollary B.80 ，不再赘述.

 

Matrix ranks

Definition B.84. 矩阵 \(A\in\mathbb{F}^{m\times n}:\mathbb{F}^n\to\mathbb{F}^m\) 的列空间 column space 或者像空间是其列向量的全部线性组合，它的行空间 row space 是 \(A^T\) 的列空间，它的核空间 null space / kernel 是将 \(A\) 看做线性算子的核空间，其左核空间 left null space 是 \(A^T\) 的核空间.

 

Definition B.85. 矩阵 \(A\in\mathbb{F}^{m\times n}\) 的列秩 column rank 和行秩 row rank 是其列空间和行空间的维数.

 

Lemma B.86. 记 \(A_T\) 为线性算子 \(T\in \mathcal{L}(V,W)\) 的矩阵，则 \(A_T\) 的列秩是 \(\mathrm{range}\ T\) 的维数.

\(Proof.\) 根据定义有 \(T(v_1,\cdots,v_n) = (w_1,\cdots,w_m)A_T\) ，我们有

其中我们假设 \(Tv_1,\cdots,Tv_k\) 是基，于是左边得到 \(n\) 个线性方程，用向量内积形式表示

其中 \(A_{Tj}\) 表示 \(A_T\) 的第 \(j\) 列，对于 \(Tv_j\) 的线性组合就有

注意到右边是 \(w_j\) 的线性组合，而 \(w_1,\cdots,w_m\) 线性无关，因此只能有

因为 \(w_1,\cdots,w_m\) 的任何部分组都线性无关，因此上式可以推广到任意 \(Tv_j\) 的部分线性组合，从而 \(Tv_j,A_{Tj}\) 只能同步线性无关，它们张成的空间维数相同.

 

Theorem B.87. 任意 \(A\in\mathbb{F}^{m\times n}\) 的行秩等于列秩.

\(Proof.\) 定义线性映射 \(T:\mathbb{F}^n\to\mathbb{F}^m,\ Tx=Ax\) ，显然有 \(A\) 是 \(T\) 在标准基下的矩阵，用 \(\mathrm{rank_c}A\) 表示列秩，则有

其中 \(T,T^\prime\) 的矩阵互为转置推得最后一步.

 

Definition B.88. 矩阵的秩 rank 是它的列秩.

 

Theorem B.89 (Fundamental theroem of linear algebra). 矩阵 \(A\in\mathbb{F}^{m\times n}:\mathbb{F}^n\to\mathbb{F}^m\) 的列空间和行空间维数 \(r\le \min(m,n)\) ；它的核空间和左核空间维数为 \(n-r\) 和 \(m-r\) ；另外有

其中 \(\mathrm{range}\ A\perp \mathrm{null}\ A^T,\ \mathrm{range}\ A^T\perp \mathrm{null}\ A\) .

\(Proof.\) 我们只证明第二个等式，对于 \(x\in\mathrm{null}\ A\) ，有 \(Ax=0\) ，取 \(A\) 的行向量 \(a_i^T\) 就有

也就是说 \(x\perp a_j^T\) ，根据 \(\mathrm{range}\ A^T = \mathrm{span}(a_1^T,\cdots,a_m^T)\) ，因此 \(x\perp \mathrm{range}\ A^T\) ，直和关系容易得到.

 

Eigen and invariant subspaces

Invariant subspaces

Definition B.90. 在线性算子 \(T\in \mathcal{L}(V)\) 作用下的子空间 \(U\sub V\) 不变 invariant 若 \(u\in U\Rightarrow Tu\in U\) .

 

Definition B.92. 线性算子 \(T\in \mathcal{L}(V)\) 满足 \(Tv=\lambda v,\ v\neq 0\) ，则称 \(\lambda\in\mathbb{F}\) 为特征值 eigenvalue ， \(v\in V\) 为对应的特征向量 eigenvector .

 

Lemma B.93. 若 \(V\) 有限维，则 \(\lambda\in\mathbb{F}\) 为特征值当且仅当 \(T-\lambda I\) 不是单射.

 

Lemma B.95. 设 \(\lambda_1,\cdots,\lambda_m\) 是 \(T\in \mathcal{L}(V)\) 的互异特征值，对应有特征向量 \(v_1,\cdots,v_m\) ，则它们线性无关.

 

Lemma B.96. 若 \(V\) 有限维，则其上的算子至多有 \(\dim V\) 个互异特征值.

 

Definition B.97. 线性算子 \(T\in \mathcal{L}(V)\) 下的不变子空间为 \(U\sub V\) ，则约束算子 restriction operator \(T|_U\in \mathcal{L}(U)\) 定义为

也就是将作用空间变为子空间 \(U\) .

 

Existence of eigenvalues

Notation 17. 线性算子 \(T\in \mathcal{L}(V)\) ，多项式 \(p\in\mathbb{P(F)}\) 定义为

则 \(p(T)\) 是一个算子

其中 \(I=T^0\) 为单位算子；容易证明，可以类似于普通多项式来定义算子多项式的运算，它符合普通多项式的各种性质.

 

Theorem B.101 (Existence of eigenvalues). 有限维非零复向量空间 \(V\) 上的线性算子 \(T\) 有特征值.

\(Proof.\) 任取非零向量 \(v\in V\) ，则有 \(v,Tv,\cdots,T^nv\) 线性相关，于是

根据代数基本定理，多项式 \(a_0+a_1T+\cdots+a_nT^n\) 有根，因此

因此存在某个 \(\lambda_i\) 使得 \(T-\lambda_i I\) 不是单射，从而 \(\lambda_i\) 就是特征值.

 

Upper-trianglular matrices

Theorem B.102. 线性算子 \(T\in \mathcal{L}(V)\) ， \(v_1,\cdots,v_n\) 是 \(V\) 的基，则下面陈述等价：

• \(T\) 关于该基的矩阵是上三角阵
• \(Tv_j\in\mathrm{span}(v_1,\cdots,v_j)\)
• \(\mathrm{span}(v_1,\cdots,v_j)\) 是 \(T\) 下的不变子空间

 

Theorem B.104. 任意有限维非零复向量空间 \(V\) 上的线性算子 \(T\) 关于 \(V\) 的某个基的矩阵是上三角阵.

 

Theorem B.105. 线性算子 \(T\in \mathcal{L}(V)\) 关于 \(V\) 的某个基的矩阵是上三角阵，则 \(T\) 可逆当且仅当矩阵对角元非零.

 

Theorem B.106. 线性算子 \(T\in \mathcal{L}(V)\) 关于 \(V\) 的某个基的矩阵是上三角阵，则 \(T\) 的特征值就是对角元素.

 

Eigenspaces and diagonal matrices

Definition B.108. 特征值 \(\lambda\in\mathbb{F}\) 对应的特征空间 eigenspace 为 \(E(\lambda,T) = \mathrm{null}\ (T-\lambda I)\) .

 

Lemma B.109. 若 \(V\) 有限维，设 \(\lambda_1,\cdots,\lambda_m\) 是 \(T\in \mathcal{L}(V)\) 的互异特征值，则

是直和，并且

此引理和下面定理的证明在以后补充.

 

Theorem B.111 (Conditions of diagonalizability). 若 \(V\) 有限维，设 \(\lambda_1,\cdots,\lambda_m\) 是 \(T\in \mathcal{L}(V)\) 的互异特征值，则下面陈述等价：

• \(T\) 可对角化 diagonalizable
• \(V\) 有一个 \(T\) 的特征向量构成的基
• 存在一维子空间 \(U_1,\cdots,U_n\sub V\) ，每一个都在 \(T\) 下不变，使得 \(V=U_1\oplus\cdots\oplus U_n\)
• \(V=E(\lambda_1,T)\oplus\cdots\oplus E(\lambda_m,T)\)
• \(\dim V = \dim E(\lambda_1,T)+\cdots+\dim E(\lambda_m,T)\)

 

Corollary B.112. 算子 \(T\in \mathcal{L}(V)\) 可对角化若 \(T\) 有 \(\dim V\) 个互异特征值.

 

Operators on complex vector spaces

Generalized eigenvectors

Lemma B.113. 对于线性算子 \(T\in \mathcal{L}(V)\) 有

此引理说明了核空间的包含关系：随着算子 \(T\) 的重复作用，“越来越多“ 的元素被映射到 \(0\) .

 

Lemma B.114. 若线性算子 \(T\in \mathcal{L}(V)\) 满足 \(\mathrm{null}\ T^m = \mathrm{null}\ T^{m+1}\) ，则

\(Proof.\) 这说明 \(\forall v\in \mathrm{range}\ T^m,\ v\neq 0\) 有 \(Tv\neq 0\) ，此时 \(T\) 对 \(\mathrm{range}\ T^m\) 的作用变成了单射，非零元素在 \(T\) 作用下总是非零，因此核空间中的元素不再增加.

 

Lemma B.115. 线性算子 \(T\in \mathcal{L}(V)\) 满足

其中 \(n=\dim V\) .

\(Proof.\) 如果上面的引理在 \(m\le n\) 有 \(\mathrm{null}\ T^m = \mathrm{null}\ T^{m+1}\) ，那么显然成立；否则，这就意味着有真包含关系

根据子空间的性质， \(\mathrm{null}\ T^{n+1}\) 中必有 \(n+1\) 个线性无关的向量，这是不可能的.

 

Theorem B.116. 线性算子 \(T\in \mathcal{L}(V)\) 满足

其中 \(n=\dim V\) .

\(Proof.\) 我们已经说明 \(T\) 对 \(\mathrm{range}\ T^n\) 的作用变成了单射，注意到 \(V-\mathrm{range}\ T^n\) 中的所有元素经过 \(T^n\) 作用都映到 \(0\) ，所以我们有

并且它们显然只相交于 \(0\) ，故是直和.

 

Definition B.119. 线性算子 \(T\in \mathcal{L}(V)\) 对应特征值 \(\lambda\) 的广义特征向量 generalized eigenvector 是非零向量 \(v\in V\) 满足

这里与一般特征向量 \(Tv=\lambda v\) 看起来不太一样，但其更加本质。实际上我们也是用这种方式 \((T-\lambda I)v=0\) 来定义一般特征向量的.

 

Definition B.119. 线性算子 \(T\in \mathcal{L}(V)\) 对应特征值 \(\lambda\) 的广义特征空间 generalized eigenspace 记为 \(G(\lambda,T)\) ，是全体广义特征向量和零向量的集合.

 

Lemma B.120. 广义特征空间 \(G(\lambda,T)\) 满足

其中 \(n=\dim V\) .

\(Proof.\) 这里运用了之前的核空间性质：只要有 \(\mathrm{null}\ T^m = \mathrm{null}\ T^{m+1}\) ，那么更高次的作用下核空间都相同。而 \(\mathrm{null}\ T^n\) 就是最大的核空间，因此上面直接使用了 \(\mathrm{null}\ (T-\lambda I)^{n}\) .

 

Definition B.121. 算子 \(T\) 特征值 \(\lambda\) 的代数重数 algebraic multiplicity 是其广义特征空间的维数

几何重数 geometric multiplicity 是其特征空间的维数

指数 index 是最小的整数 \(k\) 使得

即它是达到最大核空间所需的最小作用次数.

 

Corollary B.122. 几何重数和代数重数满足

\(Proof.\) 显然特征空间至少是一维的，并且 \(E(\lambda,T)\sub G(\lambda,T)\) ，即证.

 

Definition B.123. 算子 \(T\) 的特征值 \(\lambda\) 是残缺的 defective 当 \(m_g(\lambda)<m_a(\lambda)\) ，如果 \(T\) 有残缺特征值，则称 \(T\) 残缺.

 

Lemma B.125. 线性算子 \(T\in \mathcal{L}(V)\) 互异特征值的广义特征向量线性无关.

\(Proof.\) 令 \((\lambda_i,v_i)\) 为 \(T\) 的广义特征对，定义

其中 \(k\) 是使得 \(w\neq 0\) 的最大整数，因此 \((T-\lambda_1 I)w = 0\) ，则 \(w\) 是 \(T\) 的特征向量，于是就有

仍然记 \(n=\dim V\) ，定义算子多项式

假设 \(m\) 个广义特征向量满足 \(\sum_{i=1}^ma_iv_i=0\) ，因为其余 \(m-1\) 个向量 \(v_i\) 在 \((T-\lambda_i I)^n\) 作用下为 \(0\) ，则有

展开算子，应用 \((T-\lambda I)^jw = (\lambda_1-\lambda)^jw\) 得到

则 \(a_1 = 0\) ；类似地定义 \(w_j = (T-\lambda_j I)^kv_j\) ，同理于上面可以得到 \(a_j=0\) ，于是我们得到所有 \(a_i=0\) ，则 \(v_1,\cdots,v_m\) 线性无关.

 

Nilpotent operators

Definition B.126. 算子 \(N\in \mathcal{L}(V)\) 称为是幂零的 nilpotent 若 \(\exist k\in\mathbb{N}^+,\ N^k=0\) .

 

Lemma B.128. 幂零算子 \(N\in \mathcal{L}(V)\) 满足

\(Proof.\) 我们知道 \(N^{\dim V}\) 必然已经达到最大核空间，又由于幂零性质，最大核空间就是 \(V\) ，于是 \(N^{\dim V} = 0\) .

 

Lemma B.129. 任意幂零算子 \(N\in \mathcal{L}(V)\) 有一个严格上三角阵 \(M\) .

\(Proof.\) 设 \(n=\dim V\) ，我们取 \(\mathrm{null}\ N\) 的基，然后将其扩张为 \(\mathrm{null}\ N^k,\ k=2,\cdots,n\) 的基，于是就得到由这个基构成的矩阵

实际上由于最大核空间就是 \(V\) ，因此一定能得到它的基；然后我们就有 \(N\) 关于这一基的矩阵

记 \(M\) 的第 \(j\) 列为 \(M_j\) ，由于 \(u_1\in\mathrm{null}\ N\) ，这意味着 \(Nu_1=0,\ M_1=0\) ，考虑第一个出现在 \(\mathrm{null}\ N^2-\mathrm{null}\ N\) 中的 \(u_j\) ，则它前面所有 \(u_i\in\mathrm{null}\ N\) 都蕴含 \(M_i=0\) ，就有

对于 \(M_j\) ，我们知道 \(Nu_j\in\mathrm{null}\ N\) ，因此它可以被前面 \(\mathrm{null}\ N\) 中的基 \(u_1,\cdots,u_{j-1}\) 线性表示

注意到只有前 \(j-1\) 个分量不全为 \(0\) ，以此类推就得到 \(M\) 是一个上三角阵.

 

Lemma B.130. 若算子 \(N\in \mathcal{L}(V)\) 幂零，则 \(I+N\) 有平方根，即 \(\exist M\in \mathcal{L}(V),\ M^2=N\) .

\(Proof.\) 我们直接设法计算出平方根。由定义有 \(m\in\mathbb{N}^+,\ N^m=0\) ，考虑算子

可以解出

于是可以唯一确定各项系数.

 

Operator decomposition

Lemma B.131. 算子多项式 \(p(T)\) 满足 \(\mathrm{null}\ p(T)\) 和 \(\mathrm{range}\ p(T)\) 都是 \(T\) 下的不变子空间.

\(Proof.\) 只需要证明 \(\forall v\in \mathrm{null}\ p(T),\ Tv\in\mathrm{null}\ p(T)\) ，而由于

得证；类似的， \(\forall v\in \mathrm{range}\ p(T),\ \exist u\in V,\ v=p(T)u\) ，则有

其中 \(Tu\in V\) ，因此有最后一步.

 

Theorem B.132 (Decomposition operators on complex vector spaces). 设 \(V\) 为复向量空间， \(T\in \mathcal{L}(V)\) ， \(\lambda_1,\cdots,\lambda_m\) 是 \(T\) 的全部互异特征值，则

• \(V=G(\lambda_1,T)\oplus\cdots\oplus G(\lambda_m,T)\)
• 每一个 \(G(\lambda_j,T)\) 都是 \(T\) 下的不变子空间
• 每一个 \((T-\lambda_j I)|_{G(\lambda_j,T)}\) 是幂零算子

\(Proof.\) 后两个结论由前面的引理和定义分别得证；对第一个结论，设 \(n=\dim V\) ，然后进行归纳。当 \(n=1\) ，显然；假设对维数小于 \(n\) 的向量空间成立，则取特征值 \(\lambda_1\) ，由于 \(V = \mathrm{null}\ T^n\oplus \mathrm{range}\ T^n\) ，应用到 \(T-\lambda_1I\) 有

若 \(U\) 是空集，即证；否则由 \(p(T) = (T-\lambda_1 I)^n\) ，因此 \(U=\mathrm{range}\ p(T)\) 是不变子空间。限制映射 \(T|_U\) 有互异特征值 \(\lambda_2,\cdots,\lambda_m\) ，并且它们不为 \(\lambda_1\) 。由于 \(\dim G(\lambda_1,T)\ge 1\) ，则 \(\dim U< n\) ，因此可以应用归纳假设

这样我们只需要证明 \(G(\lambda_j,T|_U)=G(\lambda_j,T),\ j=2,\cdots,m\) ，事实上我们有

这里运用了 \(U\cap G(\lambda_j,T|_U) = G(\lambda_j,T|_U)\) .

 

Corollary B.134. 设 \(V\) 为复向量空间， \(T\in \mathcal{L}(V)\) ，则存在由 \(T\) 的广义特征向量构成的基.

 

Definition B.135. 分块对角阵 block diagonal matrix \(A\) 是一个方阵，具有形式

其中 \(A_1,\cdots,A_m\) 都是方阵.

 

Theorem B.136. 设 \(V\) 为复向量空间， \(T\in \mathcal{L}(V)\) ， \(\lambda_1,\cdots,\lambda_m\) 是 \(T\) 的全部互异特征值，有重数 \(d_1,\cdots,d_m\) ，则存在 \(V\) 中的基对应 \(T\) 作用的矩阵是一个分块对角阵，并且每一块 \(A_j\in\mathbb{C}^{d_j\times d_j}\) 都是上三角阵，具有形式

\(Proof.\) 每一个 \((T-\lambda_j I)|_{G(\lambda_j,T)}\) 是幂零算子，因此可以选取 \(G(\lambda_j,T)\) 中的基，使得其在该算子下的矩阵是严格上三角阵。于是

就对应上面形式的 \(A_j\) ，根据 \(V=G(\lambda_1,T)\oplus\cdots\oplus G(\lambda_m,T)\) 即证.

 

Corollary B.138. 复向量空间 \(V\) 上的算子 \(T\) 都可以分解为 \(T=\Lambda+N\) ，其中 \(\Lambda\) 可对角化， \(N\) 为幂零算子，且 \(\Lambda N=N\Lambda\) .

\(Proof.\) 我们知道 \(T\) 具有分块对角形式的矩阵，对角块记为 \(T_1,\cdots,T_p\) ，并且有分解 \(T_j=N_j+\Lambda_j,\ N_j=T_j-\lambda_j I_j\) ，显然这一分解符合要求，实际上 \(\Lambda_j\) 就是对角化的 \(\Lambda_j = \lambda_j I_j\) ，因此可以交换 \(\Lambda_jN_j=N_j\Lambda_j\) ，而分块对角矩阵的乘法中，各块之间互不影响，即证.

 

Theorem B.140. 复向量空间 \(V\) 上的可逆算子 \(T\) 都有平方根.

\(Proof.\) 令 \(\lambda_1,\cdots,\lambda_m\) 为 \(T\) 的全部互异特征值，则 \(N_j=(T-\lambda_j I)|_{G(\lambda_j,T)}\) 是幂零算子，即有 \(T|_{G(\lambda_j,T)} = \lambda_j I+N_j\) 。由于 \(T\) 可逆，因此 \(\lambda_j\neq 0\) ，并且

之前证明了对幂零算子 \(N\) ， \(I+N\) 有平方根，因此有 \(R_j\in \mathcal{L}(G(\lambda_j,T)),\ R_j^2 = T|_{G(\lambda_j,T)}\) ；然后我们要将这些块组合起来：

根据 \(V=G(\lambda_1,T)\oplus\cdots\oplus G(\lambda_m,T)\) ，任意 \(v\in V\) 可以被表示为 \(v=\sum_{i=1}^mu_i,\ u_i\in G(\lambda_i,T)\) ，因此定义

可以验证 \(R\in \mathcal{L}(V)\) 且满足 \(R^2=V\) .

 

Jordan basis

Definition B.141. \(k\) 阶若当块 Jordan block 具有形式

这里和讲义上不一样，为了和教材保持一致，我将矩阵进行了转置.

 

Lemma B.145. 对于幂零算子 \(N\in \mathcal{L}(V)\) ，存在 \(v_1,\cdots,v_n\in V,\ m_1,\cdots,m_n\in\mathbb{N}\) 使得

• \(v_1,Nv_1,\cdots,N^{m_1}v_1\ ,\cdots,\ v_n,Nv_n,\cdots,N^{m_n}v_n\) 构成 \(V\) 的一组基
• \(N^{m_1+1}v_1=\cdots=N^{m_n+1}v_n=0\)

\(Proof.\) 首先我们考虑如何得到 \(v_j\) ，实际上它们都是对应 \(m_j\) 重特征值 \(\lambda_j\) 的特征向量。在 Lemma B.125 中我们证明了广义特征向量线性无关，于是