学习笔记:矩阵二次子空间的零空间
1、一个齐次线性方程组的所有解,形成一个向量空间
对于一个齐次线性方程组Ax=O来说,它的所有的解中每一解都是向量,那么把这些向量(齐次线性方程组的解)集合在一起形成一个空间,其实这个空间是一个向量空间。
这个结论可以证明如下:
对于一个齐次线性方程组Ax=O,它一定有解,因为至少会存在一个零解,所以它的所有解形成的空间不可能为空。
Case 1 当这个齐次线性方程组只有唯一零解的时候,意味着它的解形成的空间只有一个零向量,此时这个空间的维度为0,空间内向量的加法和数量乘法满足封闭性,是一个向量空间,很容易得证。
Case 2 当这个齐次线性方程组有无数解的时候,求证它的解形成的空间是向量空间:
假设这个齐次线性系统的系数矩阵A是一个m∗n的矩阵,那么它的每个解都是一个n维向量(有序实数元组)。如果这些解形成的空间是向量空间,则一定是n维空间( 欧几里得空间 Rn 是向量空间)的子空间。
所以当证明齐次线性方程组的解形成的空间是n维欧几里得空间的子空间,就说明它是一个向量空间。
只需证明这个空间对向量加法和数量乘法封闭
(1)证明空间对向量加法封闭
假设向量→u和→v是齐次线性方程组Ax=O的两个解
就有 A⋅→u=O, A⋅→v=O→A⋅→u+A⋅→v=O ;
进而可得A⋅(→u+→v)=O;
上式子意味着两向量→u,→v的和(→u+→v)也是这个齐次线性方程组的解;
因此对于齐次线性方程组的解形成的空间内任意取两个向量→u和→v,→u+→v还是在这个空间内,所以该空间对向量加法封闭(2)证明空间对向量的数量乘法封闭
假设向量→u是齐次线性方程组Ax=O的一个解
就有 A⋅→u=O, 这个等式两边同乘以一个实数k,可得k⋅A⋅(→u+→v)=k⋅O=O;
改写后可得A⋅(k→u)=O;
上式子意味着向量k→u也是这个齐次线性方程组的解;
因此对于齐次线性方程组的解形成的空间内任意取一个向量→u,那么这个→u乘以任何一个实数k,结果k→u还是在这个齐次线性方程组的解形成的空间内,所以该空间对数量乘法封闭。
>>综上,一个齐次线性方程组的所有解,形成一个向量空间得证
2、矩阵的零空间
零空间:一个齐次线性方程组的所有解,形成一个向量空间,称这个空间为"零空间(Null Space)"。
对于一个矩阵A来说,它的零空间就是以A为系数矩阵的齐次线性方程组Ax=0中,这个线性系统所有的解x组成的空间就是矩阵A的零空间。
零空间是矩阵的一个特殊的子空间,矩阵的零空间相比矩阵的行空间和列列空间要更加抽象,因为对于一个矩阵的行空间和列空间,我们可以直观的看到生成它们的就是这个矩阵的行向量和列向量,然后因为这些行向量和列向量可能线性相关,所以往往需要通过特殊的计算手段(对矩阵进行高斯消元求算矩阵的秩)来获得行空间和列空间的具体维度,进而能找到空间的一组基。相比之下,生成一个矩阵的零空间的向量,需要通过求解齐次线性方程组Ax=0来获取。
对零空间的一些理解
对于线性系统Ax=O,所有的x组成的空间是零空间。
-
如果把矩阵看成是向量的转换函数,那么对于等式Ax=O,其中系数矩阵A就可以看成是一个转换函数,零空间是一个集合,集合内的所有向量在A的变换下,都可以被映射到零点!
-
如果把矩阵看成是空间,那么就有零空间内任意向量和矩阵A的行向量的点乘结果为0!
进一步推广,因为矩阵A的行空间内的任意向量都由矩阵的行向量的线性组合所表示(如→w=k1→u+k2→v),而零空间内任意向量和矩阵A的行向量的点乘结果为0,就有→x⋅→w=k1→u⋅→x+k2→v⋅→x=0,所以可以得出结论"对于零空间内的任意向量,和矩阵A的行空间的任意向量的点乘结果为0"这个结论其实表面,零空间内的所有向量,和矩阵A的行空间中的所有向量是垂直(正交)的。→矩阵A的零空间与矩阵A的行空间正交。三维空间中二维空间(平面)和一维空间(Line)的正交情况
如果是对于两个平面(二维欧式空间),它们在三维空间内是不可能正交的,它们只可能在四维空间中出现正交。
总结
矩阵A的零空间
把A看作是系统: A的零空间,就是Ax=0中,所有x组成的空间。
把A看作是函数(变换): A的零空间,所有被A变化为0点的所有向量组成的空间。
把A看作是空间: A的零空间,是和A的行空间正交的向量空间。
上一篇: 扩展欧几里得算法
推荐阅读
-
学习笔记:矩阵二次子空间的零空间
-
NeurIPS 2022 | 最强斗地主AI!网易互娱AI Lab提出基于完美信息蒸馏的方法-完美信息蒸馏(PTIE) 在斗地主游戏中,非完美信息的引入主要是由于三位玩家均不能看到别人的手牌,对于任意一位玩家而言,仅可知道其余两位玩家当前手牌的并集,而难于精准判断每位玩家当前手牌。完美信息蒸馏的思路是针对这种非完美问题,构建一个第三方角色,该角色可以看到三位玩家的手牌,该角色在不告知每位玩家完美信息的情况下通过信息蒸馏的方式引导玩家打出当前情况下合理的出牌。 以强化学习常用的 Actor-Critic 算法为例,PTIE 在 Actor-Critic 算法的应用中可以利用 Critic 的 Value 输出作为蒸馏手段来提升 Actor 的表现。具体而言即在训练中 Critic 的输入为完美信息(包含所有玩家的手牌信息),Actor 的输入为非完美信息(仅包含自己手牌信息),此种情况下 Critic 给予的 Value 值包含了完美信息,可以更好地帮助 Actor 学习到更好的策略。 从更新公式上来看,正常的 Actor-Critic 算法 Actor 更新的方式如下: 在 PTIE 模式下,对于每个非完美信息状态 h,我们可以在 Critic 中构建对应的完美信息状态 D(h),并用 Critic 的输出来更新 Actor 的策略梯度,从而达到完美信息蒸馏的效果。 PTIE 框架的整体结构如下图所示: 无论是训练还是执行过程中智能体都不会直接使用完美信息,在训练中通过蒸馏将完美信息用于提升策略,从而帮助智能体达到一个更高的强度。 PTIE 的另一种蒸馏方式是将完美信息奖励引入到奖励值函数的训练中,PerfectDou 提出了基于阵营设计的完美信息奖励 node reward,以引导智能体学习到斗地主游戏中的合作策略,其定义如下: 如上所示,完美信息部分 代表 t 时刻地主手牌最少几步可以出完,在斗地主游戏中可以近似理解为是距游戏获胜的距离, 代表 t 时刻地主阵营和农民阵营距游戏获胜的距离之差, 为调节系数。通过此种奖励设计,在训练时既可以一定程度地引入各玩家的手牌信息(出完的步数需要知道具体手牌才能计算),同时也鼓励农民以阵营的角度做出决策,提升农民的合作性。 特征构建: PerfectDou 针对牌类游戏的特点主要构建了两部分特征:牌局状态特征和动作特征。其中牌局状态特征主要包括当前玩家手牌牌型特征、当前玩家打出的卡牌牌型特征、玩家角色、玩家手牌数目等常用特征,动作特征主要用于刻画当前状态下玩家的所有可能出牌,包括了每种出牌动作的牌型特征、动作的卡牌数目、是否为最大动作等特征。 牌型特征为 12 * 15 的矩阵,如下图所示: 该矩阵前 4 行代表对应每种卡牌的张数,5-12 行代表该种卡牌的种类和对应位置。 网络结构和动作空间设计 针对斗地主游戏出牌组合数较多的问题,PerfectDou 基于 RLCard 的工作上对动作空间进行了简化,对占比最大的两个出牌牌型:飞机带翅膀和四带二进行了动作压缩,将整体动作空间由 27472 种缩减到 621 种。 PerfectDou 策略网络结构如下图所示: 策略网络结构同样分为两部分:状态特征部分和动作特征部分。 在状态特征部分,LSTM 网络用于提取玩家的历史行为特征,当前牌局状态特征和提取后的行为特征会再通过多层的 MLP 网络输出当前的状态信息 embedding。 在动作特征部分,每个可行动作同样会经过多层 MLP 网络进行编码,编码后的动作特征会与其对应的状态信息 embedding 经过一层 MLP 网络计算两者间的相似度,并经由 softmax 函数输出对应的动作概率。 实验结果
-
学习笔记:线性代数 - 矩阵的四个子空间 - 行空间和列空间
-
深入学习空间计量的详细笔记(第二部分)