一万字线性代数精要》课程笔记全集

系列目录

1.向量究竟是什么​​https://www.bilibili.com/video/av5987715/?spm_id_from=333.788.reco_list.2​​

2.线性组合、张成的空间与基​​https://www.bilibili.com/video/av6025713/?spm_id_from=333.788.videocard.0​​

3.矩阵与线性变换​​https://www.bilibili.com/video/av6043439/?spm_id_from=333.788.videocard.0​​

4.矩阵乘法与线性变换复合​​https://www.bilibili.com/video/av6128021/?spm_id_from=333.788.videocard.0​​https://www.bilibili.com/video/av6143355/?spm_id_from=333.788.videocard.1

5.行列式​​https://www.bilibili.com/video/av6179111/?spm_id_from=333.788.videocard.0​​

6.逆矩阵、列空间与零空间​​https://www.bilibili.com/video/av6240005/?spm_id_from=333.788.videocard.0​​

7.点积​​https://www.bilibili.com/video/av6299284?from=search&seid=12903800853888635103​​

8.叉积​​https://www.bilibili.com/video/av6341515/?spm_id_from=333.788.videocard.1​​https://www.bilibili.com/video/av6371571/?spm_id_from=333.788.videocard.19

9.基变换​​https://www.bilibili.com/video/av6500834?from=search&seid=3249893627908257126​​

10.特征向量与特征值​​https://www.bilibili.com/video/av6540378/?spm_id_from=333.788.videocard.0​​

11.抽象向量空间​​https://www.bilibili.com/video/av6661309?from=search&seid=11789080179301962680​​

一、向量究竟是什么？

三种向量的观点​

线性代数中最基础，最根源的组成部分是向量，那么什么是向量呢？从不同学生的视角看，有以下三种观点：

物理专业学生的视角：向量是空间中的箭头，决定一个向量的是它的长度和所指的方向，只要这两个要素相同， 向量可以任意移动。

计算机专业学生的视角：向量是有序的数字列表，数字顺序不可以随意转变。

数学专业的视角：向量可以是任何东西，只要满足向量之间相加和数字与向量相乘都有意义即可。

我们先来考虑平面中的x-y坐标系，向量被定义为从原点出发的有方向的箭头。这与物理专业的看法略有不同，因为他们认为向量在空间中可以*落脚，但是在线性代数中，向量是从原点作为起点的。而向量的坐标如[2,3]，则是有序性的体现，2代表横坐标，3代表纵坐标，二者不可交换。

接下来，我们来介绍下向量的几何意义、向量加法的几何意义，以及向量乘法的几何意义。

向量的几何意义​

考虑平面中的x-y坐标系，由x轴和y轴组成，二者的交叉部分叫做原点。

一个向量的坐标由一对数组成，这对数指导我们如何从原点走到向量的终点。

如上图的向量，它告诉我们先沿x轴往左移动2个单位，再沿y轴移动3个方向。

向量加法的几何意义

假设我们现在有两个向量：

如果我们把w从原点移动到v的终点，然后再连接原点和w的终点，那么得到的向量就是二者的和。

为什么是这样，还是回到向量的意义来，他定义了一种移动方式，假设v的坐标是[1,2],w的坐标是[3,-1]。v告诉我们要沿x轴向右移动1个单位，沿y轴向上移动2个单位，而w告诉我们要沿x轴向右移动3个单位，沿y轴向下移动一个单位。这样总体的移动效果就是沿x轴向右移动5个单位，沿y轴向上移动1个单位，得到的结果是[5,1]。因此向量加法的几何意义，我们可以看作是多次移动的累积结果，从计算上来看，就是如下的式子：

向量乘法的几何意义​

向量乘法就是对向量进行拉伸(乘以一个大于1的正数)，压缩(乘以一个小于1的正数)，翻转向量的行为(乘以一个负数)，这些行为统称为统称为scaling。而向量乘上的这些数值本身，称之为向量(scalars)。向量乘法的计算方式如下：

二、线性组合、张成的空间与基

基向量

我们之间介绍了向量之间两种最基本的运算，向量相加 以及 向量的缩放。还是以二维平面为例，其实每一个向量都可以通过基向量(basis vectors)经由上面的两种运算得到，假设我们的基向量是[1,0]和[0,1]，如下图:

当然，基向量可以任意选择，定义两个向量v和w，以其为基向量，通过加法和乘法，可以得到平面中任意的向量：

基向量的严格定义为：向量空间中的基是张成该空间的一个线性无关的向量集：

线性组合

​
线性组合Linear Combination的几何意义如下图所示，完整上来说，其实是向量之间的线性组合，其主体是向量，线性组合是一个操作，将各个向量缩放之后，相加在一起，就得到了参与操作的向量之间的线性组合。

线性组合有下面是三种情况：

1）如果参与组合的一对向量不共线，那么由它们进行线性组合所得到的向量可以达到平面上的任意一个点：

2）如果参与组合的一对向量共线，那么由它们进行线性组合所得到的向量的终点被限制在一条通过原点的直线：

3）如果参与组合的一对向量都是零向量，那么由它们进行线性组合所得到的向量永远是零向量：

向量张成的空间​

张成的空间：v与w全部的线性组合所构成向量集合被称为张成的空间。

对于平面来说，如果两个向量不共线，那么可以张成整个二维平面，如果共线，只能张成一条直线。

对于三维空间来说，如果三个向量共线，那么只能张成一条直线，如果三个向量共平面，那么只能张成一个平面，如果三个向量不共平面，则可以张成整个三维空间。

线性相关​

线性相关：如果一组向量中，至少有一个对张成的空间没有帮助，或者说其中一个向量可以表示成其他向量的线性组合，或者说其中一个向量在其他向量所张成的向量空间中。

线性无关则与线性相关相反，所有向量都不能表示成其他向量的线性组合：

三、矩阵与线性变换

线性变换Linear transformation​

变换其实也是一种函数，我们有一个输入向量，然后经过变换之后，得到一个输出向量。整个过程，可以看作是输入的向量移动到了输出的输出的位置。考虑整个平面上的向量，在经过变换之后，得到了一个最新的位置。

变换前的向量

变换后的向量

那什么是线性变换呢？满足下面两个条件：

1）所有的直线还是直线。即原先终点在一条直线上的向量，在经过线性变换之后，这些向量还落在一条直线上。

2）原点还在原来的位置。

那么如何来描述我们的线性变换呢？考虑向量v = [-1,2]，在i = [1,0]和j = [0,1]为基的情况下，v = -1 * i+2 * j，假设线性变换如下：

上图中，原先的i=[1,0]变换到i'=[1,-2]，原先的j=[0,1]变换到j'=[3,0],而原先的v变换到v'=[5,2]，而关系 v' = -1 * i' + 2 * j'仍然存在。即图中的式子成立。

所以说，一个2*2的矩阵，[[a,c],[b,d]]其实代表了一种线性变换，它把原来的[1,0]变换到[a,b]的位置，把原先空间中的[0,1]变换到[c,d]的位置。而该矩阵与一个向量[x,y]相乘的结果，相当于对该向量做了一次线性变换，把向量移动到新平面中对应的位置：

四、矩阵乘法与线性变换复合

两个2*2矩阵a和b相乘，可以看作是对原始空间连续做了两次线性变换，而得到的计算结果c也是一个2*2的矩阵。使用c对原始空间进行一次线性变换，和连续使用a和b对原始空间进行两次线性变换的效果相同。

矩阵的计算就不细讲了，我们只需要知道，矩阵相乘的几何意义是将两次单独的变换变为一次组合变换即可。

该结论到三维空间中也是同样成立的。

五、行列式

如果在二维空间中，我们画出相对应的网格，那么线性变换，就是对这些网格做了拉伸，收缩或者反转。那么如何来定义这种变换的程度呢？就需要用到行列式determinant的概念了。

举一个简单的例子吧：

线性变换前

线性变换后

在进行线性变换后，原来一个面积为1的单位方格，变成了面积为6的矩形。可以说，线性变换将原空间放大了6倍。

再看一个例子：

该线性变换把原二维空间压缩成一条直线，行列式为0

上面的例子中，当二维空间经过一次线性变换被压缩成一条直线甚至是一个点时，行列式为0，因此可以通过行列式是否为0来判断线性变换后的空间的维度是否与原空间相同。

我们知道，行列式的值是有正有负的，那么怎么判断是负数呢？我们可以通过变换后的基向量i和j的方向来判定。

在变换之前，j是在i的左侧的：

如果经过线性变换后，j变成了在i的右侧，那么得到的行列式的值是负的：

那么到三维空间中，行列式的值就告诉我们经过线性变换后，单位体积变化的程度，而行列式的值可以通过右手定则来判定：

那么行列式如何来计算呢？

二维空间行列式的计算

三维空间行列式的计算

六、逆矩阵、列空间与零空间

逆矩阵​

我们先从线性方程组着手，一个线性方程组可以表示成Ax = v：

看到这里，你也许已经知道这代表什么含义了，矩阵A相当于一个线性变换，向量x在经过A这个线性变换后，得到的向量为v。线性方程组的求解过程其实就是找到向量v在经由A这个线性变换之前所在的位置x。

因此，我们可以把它变成另一个过程，即将v所在的线性空间，经过另一个逆向的过程，变回x所在的线性空间，那么这个线性变换用矩阵表示，就是A的逆矩阵，用A-1表示。即逆矩阵A-1所代表的线性变换，是A所代表的线性变换的逆过程。因此A-1A相对于任何事情都没有做。

那么既然逆矩阵相当于线性变换的逆操作，因此只有在线性变换后空间的维数不变的情况下，才能进行逆操作。再结合之前学习到的，线性变换不降维，前提条件是矩阵的行列式值不为0，因此矩阵的逆矩阵存在的前提，即矩阵的行列式值不为0。

矩阵的秩Rank​

矩阵的秩即经由该矩阵代表的线性变换后，所形成的空间的维数。比如在三维空间中，如果经过某个矩阵A代表的线性变换后，空间变为一条直线，那么这个矩阵的秩为1。如果空间变为一个平面，那么这个矩阵的秩为2。如果还是三维空间，那么矩阵的秩为3.

列空间有两种解释：

1）假设矩阵A代表一个矩阵变换，原始空间中所有的向量，在经由矩阵A的变换之后，所得到的所有新向量的集合

2）由矩阵A的列向量所张成的空间

比如下面的例子，[[2,-2],[1,-1]]这个矩阵，将二维空间变换为一条直线，那么这条直线就是矩阵的列空间。

零空间：如果某个向量空间在线性变换之后，存在降维，那么就会有一系列原来不是零向量的向量落到了零向量的位置，所有这些向量的集合构成了零空间。

七、点积

点积的标准观点​

如果我们有两个维数相同的向量，他们的点积就是对应位置的数相乘，然后再相加：

从投影的角度看，要求两个向量v和w的点积，可以将向量w朝着过原点的向量v所在的直线进行投影，然后将w投影后的长度乘上向量v的长度（注意两个向量的的夹角）。

当两个向量的夹角小于90度时，点积后结果为正，如果两个向量垂直，点积结果为0，如果两个向量夹角大于90度，点积结果为负。

一个有趣的发现是，你把w投影到v上面，或者把v投影到w上面，结果是相同的。

但是你不觉得上面两个过程是完全不同的嘛？接下来就直观解释一下。

假设我们有两个长度完全相同的向量v和w，利用其对称性，无论将v投影到w上还是将w投影到v上，结果都是一样的：

如果我们把其中一个向量变为2倍，这种对称性被破坏了。假设我们把w投影到v上，此时投影的长度没变，但v的长度变为两倍，因此是原来结果的两倍。同样如果把v投影到w上，投影长度变为2倍，但w长度没变，所以结果也是原结果的两倍。所以对于两个向量的点积来说，无论选择哪个向量进行投影，结果都是一样的。

问题又来了，投影的思路和对位相乘再相加的思路，有什么联系呢？联想之前所学的线性变换过程，假设u是二维空间变换到一维空间后的基向量：

在第三讲中我们已经知道，一个2*2的矩阵，[[a,c],[b,d]]其实代表了一种线性变换，它把原来的[1,0]变换到[a,b]的位置，把原先空间中的[0,1]变换到[c,d]的位置。那么想要知道什么样的线性变换可以将二维空间中的基向量i和j变换到一维空间中的基向量u，只需要知道i和j变换后的位置即可。i和j变换后的位置，相当于对u所在的直线进行投影，利用对称性，可以得到相应的结果，如下图：

所以二维空间中的任意一个向量，通过上面的线性变换可以得到的一维向量。这个过程相当于对二维向量进行了投影。而根据矩阵乘法的计算方法，便可以将投影的计算方法和对位相乘再相加的方法联系起来。

上面的思路总结起来，就是无论何时你看到一个二维到一维的线性变换，那么应用这个线性变换和与这个向量点乘在计算上等价：

上面是数学中“对偶性”的一个有趣实例。

八、叉积

首先来看叉积的标准介绍。叉积是通过两个三维向量生成一个新的向量，新的向量满足下面三个条件：

1）垂直于这两个向量所张成的平面

2）其长度等于这两个向量所形成的四边形的面积

3）其方向满足右手定则

右手定则如下：

接下来看看叉积的具体计算，求行列式得到的是叉积后向量的长度，叉积得到的向量的坐标是下图中的三个“某些数”。

接下来，深入理解叉积的含义，我们通过线性变换的眼光来看叉积。我们首先定义一个三维到一维的线性变换：

先回顾一下行列式的定义，三维空间中，3 * 3矩阵的行列式是三个向量所形成的平行六面体的有向体积（绝对值是体积，但需要根据方向判定其正负号），但这并非真正的叉积，但很接近：

假设我们把第一个向量变为变量，输入一个向量(x,y,z)，通过矩阵的行列式得到一个数，这个数就代表我们输入的向量与v和w所组成的平行六面体的有向体积：

为什么要这么定义呢？首先要指出的是，上面的函数是线性的。所以我们就可以将上面的行列式过程表示成一个变换过程：

同时，当线性变换是从多维到一维时，线性变换过程又可以表示为点积的形式：

即p的结果是：

所以，问题其实变换为了，找到一个向量p，使得p和某个向量(x,y,z)求点积的结果，等于对应的三维方阵行列式的值（即(x,y,z)和向量u、v所组成的平行六面体的有向体积）。

左边是一个点积，相当于把(x,y,z)向p上投影，然后投影长度和p的长度相乘：

上一篇： 线性代数性质学习笔记

下一篇： 线性代数