线性代数随笔3：青出于蓝

本文来自龙猫图书系统管理员潘工程师，有感于他读了一本马萨诸塞大学使用的《线性代数》教材。潘工希望通过这一系列文章告诉理科生，数学是用来帮助人的，而不是用来折磨人的...



通常，我们衡量两个点是否接近是用两点间的距离作为标准。一根直尺上的两点的距离只要简单把两个点所在刻度的值相减即可。如果到了二维平面上的两个点的距离，比如说一个边长为1的正方形的对角线的距离，我们就会用到勾股定理：

现进一步到了三维空间上的两个点的距离，比如一个边长为1的立方体的对角线的距离，可以将勾股定理进行扩展：几何上的距离到此为止，代数很谦虚地从几何中学习了这个概念。对于一个向量坐标X=(x1, x2, x3... xn)定义了内积运算：它的结果就是点到坐标原点的距离的平方。但是在代数世界里并没有受几何世界最多三维的限制，向量可以表示任何维度的坐标，内积也自然而然地可以应用于任何维度的空间。

有了距离的概念之后，我们当然要用它再做一些有趣的事。还是从几何的概念出发，我们可以用距离来计算一个平面图形的周长和面积以及空间图形的体积。再比如说，我们可以计算直线和平面外的某一个点在这个直线或平面上距离最近的点的坐标。就这两种应用在数学上，前者产生了微积分这个分支，而后者被纳入了线性代数的研究范围。

回到几何上，求一个点在直线或平面上距离最近的点，通常我们需要在这个点与直线或平面之间作一条垂线，而它的垂足就是那个我们要求的点。这个点有一个更高大上的名字，叫作这个点在直线或平面上的投影。

而在线性代数里，一条直线只要过经过原点，直线上任意点的坐标代表从原点到这个点的向量，而这条直线就是这个向量自身的线性组合，即把这个向量放大或缩小任意倍的点全部连起来就是这条直线。再简化一点，我们选取这条直线上与原点距离为1的单位向量，那放大或缩小的倍数就等于点到原点的距离了，即：数学家告诉我们任意一个点X到直线Y上的投影与原点的距离，就是X与E的内积。哇，这么简单！这个懒偷得有创意，有水平。不过你以为求一个直线上的投影就完了么？数学家们可不这么想。他们又进一步告诉我们，对于一个过原点的平面，只要在上面选取两个不共线的向量进行线性组合，就可以表示这个平面。简化一下的话，也是选两个与原点为距离为1的单位向量，同时这两个向量是相互垂直的，他们还给了这样的单位向量一个名字，叫“基”（没错，搞“基”是线性代数里的一项重要工作）。则平面可以表示为：那么任意点X到平面Y上的投影就是：数学家到此一发不可收拾，他们又根据直线和平面推测出了任意维向量空间：什么？超过三维的空间人类还没有找到？这我可不管，反正我的向量想多少维都可以。我还知道在这样的空间任意点X到Y的投影就是：

线性代数里的距离出于几何，又远胜于几何空间的表达能力。对于它的运用如同天马行空，却往往有出乎意料的效果。

我们已经可以找到一个点在直线上最接近的点了。那如果反过来呢？


知道了一个点，怎么求一个最接近它的直线？

有点文化行不？过这个点随便画一条直线都行。




那知道两个点了，怎么求一个最接近它们的直线？

这个也容易啊。两点确定一条直线，画一条连接两个点直线即可。




那知道三个点了，怎么求一个最接近它们的直线？

这个好像有点复杂。先把这几个点连起来，这里要加一条辅助线，那个角的角度可以求出来，然后… 嗯，我再想想。一定可以求出来的。




那知道四个点了，怎么求一个最接近它们的直线？

你先等一下，上面那题我还没算出来呢！




那要是知道n个点了，能不能求一个最接近它们的直线？

（几何同学蹲在墙角划圈圈中……）



这样的情形你是否似曾相识？没错，我们从初中物理实验开始就经常遇到，只是没有意识到自己在做着多么高大上的事情罢了。



在测定弹簧弹性系数的物理实验课上，我们被要求测量一组弹簧拉伸不同长度下所对应拉力计上的拉力。然后根据胡克定理“f=Kx”求出弹簧的弹性系数K。

于是小明按照物理老师的要求认认真真地一次次拉伸弹簧，记录长度和接力。在他的努力下得到5组实验数据：实验一定有误差，每组数据算出的K都不一样也很符合逻辑。小明把这5个K算了一个平均值2.84，打算交给物理老师去。但是和小明同组的小红却用了另一个计算方法：她把五组实验的以x为横坐标，f为纵坐标在网格纸上画了五个点，然后很小心地画了一根直线，看上去离每个点都很近。她计算了这根直线的斜率：2.95。最后物理老师表扬了小红，因为这根弹簧的弹性系数是3。

小明和小红虽然用了不同的方法，但他们都找到了自己认为与这五个点最接近的那条直线。小明的方法有一个准确的答案，但这是最简单的数学平均的方法，用的是一次方程。而小红的方法虽然没有一个公式，但她所测量的却是真正的几何距离，如果写成方程就是二次的，这很符合勾股定律精神，但她在最近选直线的时候确有主观性质。最后的结果是小红虽然比小明更接近正确结果，但两个人的方法都不是最精确的。

当然小红和小明的方法在日常生活中是足够了，虽然他们的方法都只适用于特定的问题。但是这对数学家来说是远远不够的，他们所追求是理论上的那个唯一最精确的值，而且要对所有问题普遍适用。最终他们锁定了一个方法，通过这种方法可以求出二次方程的平均值，这就是最小二乘法。

小明的实验数据我们可以写出一个矩阵方程：显然不管K等于多少，这个方程两边是不可能相等的。数学家们想到了怎么让两边相等的方法，一个矩阵方程：其中A、B为常量矩阵，X是未知量，如果我们知道等号永远不会成立，我们称这个方程是不相容的。而对于不相容的方程，可以求出一个X使得：使得B’与B之间的距离最近，要求得这样的X的方法是解方程：如果A和B都是只有一列的向量，方程可以简化为向量内积，即：通过这个公式再去计算小明的数据：结果更精确了，但是更重要的是最小二乘法可以适用于任何公式的数据统计。下一节将会从最小二乘出发，看一看通讯里最让人不明觉厉的“傅里叶变换”是怎么一回事。

    关注 龙猫图书馆