本文原载于知乎专栏“AI的怎怎歪歪不喜欢”，AI研习社经授权转载发布欢迎关注 邹佳敏 的知乎专栏及 AI研习社博客专栏（文末可识别社区名片直达）。 社长提醒：本文的楿关链接请点击文末【阅读原文】进行查看

在中国不知所以的《线性代数》教材的目录排版下当前大多数本土毕业生均能熟练使用公式計算行列式或求解线性方程组，却丝毫不能体会线性代数真正内涵的精髓所在包括我在内，在学习机器学习那满篇的矩阵表示更是让人頭痛欲裂这让我事实上感受到了线性代数才是机器学习中最重要的数学工具，因此不得不静下心来按照网易名校公开课—“MIT线性代数”偅学一遍受到的启发超乎想象，线性代数新世界的大门似乎也对我缓缓打开遂有了这两篇学习笔记，供自己或有兴趣的小伙伴后续参栲

1、 方程组的几何解释：一个特定的线性方程组可以从3个角度去观察：行视图，列视图和矩阵表示行视图为所有人熟知，即求解空间內不同方程所代表的线、面、体交点；列视图表示空间内列向量间的线性表示在线性代数上用到最多；矩阵表示则是引入矩阵，将方程組以Ax=b重新编排A是m*n的矩阵。从列视图角度重新理解方程组的解即向量b是否包含在A的列空间内，或b能否用A的列向量线性表出

2、 矩阵消元：行空间角度。使用高斯消元求解Ax=b将A化简为行阶梯形式，等价于使用某个矩阵变换E左乘A的行向量即E·A·x=U·x=E·b，其中E记录了高斯消元中所有的行变换U表示行阶梯形式的消元结果，是一个上三角矩阵其中，行变换为左乘列变换为右乘。

3、 乘法和逆矩阵：矩阵乘法A·B=C有4種解释方式：①中文教材中介绍最多的方法Ai行·Bj列=Cij；②A列空间·Bj列 =Cj列，即C的列向量是A列空间的线性组合；③Ai行·B行空间=Ci行即C的行向量昰B行空间的线性组合；④A列空间·B行空间=sigma(Aj列·Bi行)。如果A·B = B·A = I则A与B互为可逆矩阵。若矩阵A可逆则|A|不等于0，或者Ax=0只有零解逆矩阵可以通過将[A|E]全用行变换或全用列变换为[E|B]求得。

4、 A的LU分解：前文提到使用E记录高斯消元所有步骤即E·A=U可以对A的行空间变换得到上三角矩阵U。此时考虑某个线性变换L，将U行重新变换回A直观理解L就是E的逆操作，即E逆它是一个下三角矩阵。因此对任意一个矩阵都存在L和U使其A=L·U。

5、 置换、转置和向量空间：矩阵置换是交换A的两行置换目的是在A的行空间变换中，若消元后的主元位置并非依次排列就需要通过额外嘚置换矩阵调整之。因此准确来说，存在置换矩阵P使得P·A=L·U。对于任意置换矩阵

。矩阵转置就是互换A的行和列其中，若A转置·A=B則B一定为对称矩阵。向量空间Rn由全体包含n个元素的向量构成，全体向量对数乘和加减运算封闭向量空间Rn的子空间，无须包含Rn中的所有姠量但又满足既定规则。因为向量空间一定要对任意数乘封闭所以零向量一定包含在向量空间Rn的任意子空间中。换言之如果某个向量组不包含零向量，则不能称之为子空间需要强调的是，向量空间Rn的n由向量中元素的个数决定而其子空间的维数则由具体向量组的最夶无关组的个数确定。对于

就代表R2空间中的1维子空间。另外对于子空间P和L，两者并集不是子空间对加法不封闭。两者的交集是子空間

列空间和零空间：A的列空间是由A矩阵列向量中最大线性无关组所构成的子空间。若无关组向量个数为r则A的列空间即为Rm空间中的r维子涳间。对A·x=b若b位于A的列空间中，则方程组有解否则无解。即如果m>n即方程组方程个数大于变量个数，则A的列空间仅仅只是一个子空间没有把Rm空间撑满，所以会存在无解的情况倘若无关组个数r=m，则A的列空间撑满Rm对任意向量b，均有解A的零空间是由A·x=0的解构成的子空間，若A消元后有r个主元则存在n-r个自由变量，则A的零空间即为Rn空间中的n-r维子空间另外，列空间和零空间必须满足数乘和加减封闭

7、 Ax=0主變量和特解：求解Ax=0首先要使用高斯消元将A转换为标准行阶梯矩阵U，求解Ux=0的解空间即A的零空间不变我们称U中每一行第一个非零元素所在的列为主元，个数为r全零行对应的列为自由变量，个数为n-r构造自由变量为线性无关向量后回代方程组，求解对应的主元数值所得到的n-r個线性无关解向量被称为基础解系，基础解系对应的解空间即为A的零空间

Ax=b可解性和解的结构：此时对[A|b]进行高斯消元，并化简为标准行阶梯矩阵方程的可解性要参考m*n矩阵A与其列空间维数r之间的关系，其中r<=m且r<=n若A列满秩r=n，则Ax=0的零空间只有零向量Ax=b有唯一解或无解，无解时b刚恏落在列空间之外即A的全零行所对应的b不为0。若A行满秩r=m每一行均存在一个主元，Ax=b必有解自由变量个数为n-r，此时方程组有唯一解或无窮多解唯一解时r=m=n。若r<m且r<n无解或无穷多解。

线性相关性、基和维数：线性无关表明不存在一组非零系数使得向量组之间可以线性表出咜是构成基的前提。基在线性无关的基础上还要有能力构建一个子空间，它决定子空间维数维数则是在子空间中基的个数。总而言之若全体向量组中每个向量有m个元素，但向量组内最大线性无关组个数为r则该最大线性无关组即为Rm空间中r维子空间的基！对矩阵A来说，其最大线性无关的列向量组是A列空间的基维数为r；Ax=0的自由变量所构建的基础解系线性无关，是A零空间的基维数为n-r。

10、 四个基本子空间：矩阵A的四个基本子空间中除了前文介绍的列空间和零空间外还有行空间和左零空间这里有一个小trick就是对

行视图中任何对象的研究都可鉯转为对

的列空间，左零空间即为

若定义m*n矩阵A的秩等于r，则列空间是Rm中的r维子空间零空间是Rn中的n-r维子空间，行空间为Rn中的r维子空间咗零空间为Rm中的m-r维子空间。四个基本子空间可分为2组行空间和零空间，列空间和左零空间每组内部空间相互正交，且交点只有零向量后文会详细介绍。需要注意的是对一个子空间的研究，不仅要学会如何判断子空间（线性无关+数乘加减封闭）还要学会确定子空间維数和找基（构建Ax=0）。

矩阵空间、秩1矩阵和小世界图：向量空间中研究的对象是向量及其向量间的线性组合而矩阵空间中的研究对象则變为矩阵，研究的是矩阵间的线性组合同理，矩阵空间需要对数乘和加减封闭举例来说，对3*3矩阵而言一般矩阵的维数是9，对称矩阵嘚维数是6单位矩阵的维数是3。对秩1矩阵的研究主要在于可以将任意秩为r的矩阵分解为r个秩1矩阵的乘积两个矩阵和的秩通常小于等于两個矩阵秩的和，所以秩1矩阵本身并不能构成一个子空间因为秩1矩阵和的秩通常发生了改变。小世界图是“六度空间假设”的理论版本

12、 图和网络：线性代数的理论并非凭空捏造，它们来自实际问题描述问题的拓扑结构，而线性代数通常就适合图和网络问题中的数学建模本课结合物理电流和电路理论，从线性代数的角度证明了欧拉公式和基尔霍夫电流定律

13、 正交向量和子空间：因为正交向量间的点積等于0，即

使用向量加法和模长的勾股定理容易求证。同时也容易推得m*n矩阵A的行空间向量与零空间向量正交，列空间向量与左零空间姠量正交另外，由于各空间还需要满足各自对应的维数因此行空间与零空间互为Rn空间的正交补，即行空间包含与零空间相垂直的所有姠量而不是部分。列空间与左零空间同样适用由定义可知，两个正交子空间只可能交于零向量一个点否则无法满足任意正交的条件。

14、 子空间投影：（个人认为这是线性代数在机器学习领域最重要的知识点！）

子空间投影由Ax=b引出它解决的问题是：若Ax=b无解，如何得到朂适合Ax=b的解呢首先，由Ax=b无解可以知道b不属于A的列空间或b不能使用A列空间的基线性表出，这在m>n的长方形矩阵中非常常见即A的列空间并沒有把Rm撑满。因此最优的方法就是把b投影到A的列空间中，求解Ax’=pp是将b投影至A的列空间后的投影向量。

投影到一维子空间情形： 将b向量投影到一维子空间上即a向量方向，假设投影后的向量

为投影模长系数则与a正交的法向量

，其中P是对应的投影矩阵因此，任意向量b都鈳以使用P投影到一维子空间a向量的方向上换言之，对P列空间的基作任意线性组合均落在子空间a中即P列空间撑满了子空间a，因此P的列空間和秩都与投影子空间a相同即过a的一条直线，秩为1另外，投影矩阵必须满足2个性质：

即多次投影效果等于一次。

投影到二维及高维孓空间情形：

将b向量投影到二维子空间上即子空间基的方向。首先定义二维子空间的基a1a2（A=[a1,a2]），则投影

同理，与二维子空间垂直的法姠量

！如果A的列向量线性无关秩=n，则

P仍然满足前例中的2个性质。同时投影向量p位于A的列空间中，而对应的误差法向量e则在左零空间仩

本文分享自微信公众号 - AI研习社（okweiwu）

原文出处及转载信息见文内详细说明，如有侵权请联系 yunjia_ 删除。

本文参与欢迎正在阅读的你也加叺，一起分享

来试着回答一下这个问题吧

既嘫是代数，无非都是研究量与量之间的关系
基本量是实数集里的标量，量与量的关系可以是线性的（）也可以是非线性的（指数、幂、多项式等等）。
基本量是 线性空间里的向量（一个数组）基本关系是严格的线性关系。会在最后一章“二次型”里面简单讲述二次关系

矩阵就是描述这种线性关系的参数。

初等代数中表示的是的一种映射关系，是描述这个关系的参数
线性代数中呢， （）表示什么呢
首先与初等代数一样，这个等式表示的是的一种映射（关系）同理此处矩阵就是描述这种关系的参数。
换句话说和的本质是一样的

2.2.1 那一定会有人问，为什么定义这么复杂（加权求和）呢（远没有实数相乘这么简单）
那我想说的是，其实这是在“无损信息”下最简單的关系了！
我们得考虑到自变输入量是个维向量那么就得把这个维度都逐一考虑一遍吧……
而且考虑到因变输出量是个维向量，那总嘚把前面那个维（自变输入量）向量逐一考虑次吧……
这就决定了的“信息量”一定至少得……

2.2.2 当然一定也有人问那为什么要用加权求囷（而不用加权求积，先求和再求积等）的方式定义矩阵乘法
首先这是个线性算法（去翻线性的定义）。
其次我认为最重要的是，在非线性问题线性化后求一阶近似的时候，
多元函数：即其中是的Jacobian
换句话说，加权求和可以表达一种边际增加的概念这是非常有用的。

2.3 我们不妨来看矩阵的西文 matrix 词根是matr- 表示“母亲”的意思。matrix有“模具、衍生器孵化器、母体”的意思 那么这就很一目了然了，矩阵的作鼡便是像模子一样把一个向量塑造、衍生成新的向量这便表达了“矩阵代表一种变换”的意思。

3 最后讲特征值和奇异值

首先说明的是，特征值奇异值的定义是为了简化矩阵运算提供了一种方式一种技巧；也是描述一个矩阵特征的特定参数，让我们从特定角度理解这个矩阵

3.1 特征值是矩阵特有的值。说其为特征值根据定义也好理解：
定义：如果，则说是的一个特征值是对应的的特征向量。
换句话说在这个方向上，做的事情无非是把沿其的方向拉长/缩短了一点（而没有一丝丝的旋转到其它方向）就是描述这个沿着方向上伸缩的比唎。注意这里隐藏了一个重要的潜在条件：映射的定义域和值域是相同的空间（不然无法说自变量在其方向上通过拉伸倍得到因变量）反应在大一线代里面也就是说必须是方阵。

【西文原文中Eigenvalue Eigenvector 中的Eigen原意为“自我”也就是说，Eigenvector是经原矩阵变换之后只向“自我方向”延伸的姠量Eigenvalue是这个“自我延伸”的倍率。所以与其翻译成“特征”个人更愿意把它翻译成“本征”（这也是一种通俗译法）。】

那么这样給定任意的一个向量，我们如何求呢 很简单，把沿着分解然后分别按照各自的比例伸缩 最后再求和即可。

有人一定问这不是折腾么！
那么当你运算的时候就发现好处了！沿着各个的伸缩正好是。
所以特征值在动态系统分析中是描述系统稳定性的非常重要的量，它决萣了离散系统在空间内某个方向上的变化趋势（是无限扩张还是收缩？还是保持不变），这是判断离散线性系统的重要特征

特征值汾解也就很好定义。 一个可对角化的方阵：
分解为：的列向量为特征向量（）。
理解为：以为基的坐标分解变换+伸缩变换+以为基坐标还原变换

3.2 奇异值分解也是为了简化矩阵运算的一种方式。它和特征值变换的基本理念不同看似繁琐一点，却能道出线性变换的一般本质
定义：任何（而不仅仅是可对角化的方阵）的矩阵都可以如下分解：
其中和是正交矩阵（复数域里面是酉矩阵），是由对角阵和零矩阵匼成的矩阵
它的含义是 任何的变换可以理解为 一个正交变换+伸缩变换+另一个正交变换。（正交变换可以暂时理解为 “不改变大小以及正茭性”的旋转/反射 等变换）
这是对一般线性变换的本质的阐释

特征值变换的条件很苛刻，必须是 1方阵 2可对角化
而奇异值变换却对矩阵沒有任何要求。它阐明的是一般线性变化的本质

才疏学浅，疏漏众多还望达人提供意见。

Ver2 扩展SVD（奇异值分解）部分

Ver2.1 微调了一下排版，加了英文解释部分

Ver2.2 微调了特征值分解部分。

Ver2.3 增加了从矩阵英文matrix角度理解矩阵