AI的数学血脉｜1858年一篇无人读懂的论文，正在驱动全球最贵的芯片
2026年6月，英伟达市值突破5万亿美元。全球科技巨头每年在GPU上的采购预算，超过了很多国家的军费开支。
所有人都在问同一个问题：凭什么一块芯片卖这么贵？
标准答案是：AI需要算力，GPU提供算力。
但这只是答案的第一层。再往下一层问：AI到底在算什么？ 你会发现一个惊人的事实——从ChatGPT到Claude，从Sora到自动驾驶，所有大模型在最底层的计算，只有一件事：
矩阵乘法。
矩阵乘矩阵，矩阵乘向量，矩阵乘矩阵的转置。重复一亿次，一千亿次，一万亿次。
现在问一个更刁钻的问题：“矩阵”这个概念，是谁发明的？
答案是：一个英国律师。1858年。
这听起来像是一个冷知识。但它背后的故事，是一整条横跨两个世纪的因果链——从一颗消失的行星，到两个律师在回廊上的散步，再到今天地球上最昂贵的芯片。
一、1801年：一颗消失的星星，和一个24岁的年轻人
故事不从矩阵开始。
从一颗消失的”行星”开始。
1801年1月1日，新世纪的钟声刚刚敲响。意大利巴勒莫天文台的神父兼天文学家朱塞佩·皮亚齐，在观测中注意到了一颗从未见过的天体。它不像恒星那样固定不动，而是在星空中缓慢移动。
皮亚齐兴奋地判断：这是一颗新行星。
此前的天文学家早就注意到了火星和木星之间存在一个奇怪的”空隙”——按照提丢斯-波德定律，那里应该有一颗行星。现在，皮亚齐觉得自己找到了它。
他做了41天的观测，记录下24组位置数据。
然后，他病倒了。
等他康复后重新把望远镜对准那片天区，谷神星——他给这颗新天体起的名字——已经不见了。它跑到了太阳的眩光背后，消失在无边的星空之中。
这成了一个全欧洲天文学家的难题。只有那24组、跨越41天短弧的观测数据，而且从地球上观测，地球本身也在绕着太阳高速运动。怎么用这点可怜的数据，推算出那颗失踪天体的完整轨道？
包括拉普拉斯在内的顶尖数学家都试过了。失败了。
然后，一个名不见经传的24岁德国年轻人出手了。
他叫卡尔·弗里德里希·高斯。
（ps：如果你从小听过高斯10岁那年在课堂上一秒算出1加到100等于5050的故事，你大概能猜到接下来会发生什么。）
高斯花了三个多月的时间。纯手工计算，超过100个小时——没有计算机，没有对数表上现成的公式，很多东西要从头推。他只用皮亚齐的3个观测点，结合开普勒的行星运动定律，不仅算出了谷神星的完整椭圆轨道，还在计算过程中悄悄用上了一个他自己几年前秘密发明的工具：最小二乘法。
1801年12月31日深夜（一说次年1月1日凌晨），天文学家冯·扎赫和奥伯斯把望远镜对准了高斯预测的那片天区。
谷神星就在那里。误差不到半度。
整个欧洲轰动了。拉普拉斯——当时在世的最伟大数学家——说出了那句著名的赞叹：
“不伦瑞克公爵在他的领地里发现的不仅是一颗行星，而是一个超人般的灵魂寓于凡人之躯。”
但高斯在这个传奇故事中埋下的真正伏笔，不是最小二乘法。
而是他在计算过程中处理大量超定方程组时，发明了一套专门用来”消元”的简化记号。
这套记号，后来被职业计算员（human computers，那个年代真的是人工计算）广泛采用，代代相传。一百四十多年后，它被命名为——
高斯消元法。
有趣的是：这个方法其实根本不是高斯发明的。中国的《九章算术》（约公元前150年）就记载了消元解法。牛顿在1670年的笔记里写得清清楚楚。18世纪末，消元法已经是欧洲代数学教科书的标准内容。
但高斯做了一件事：他把一个”普通的”计算方法变成了一套系统化的专业工具。 那套记号、那个流程，让消元不再只是”解方程的方法”，而变成了一种可以标准化操作的计算程序。
你可以说，高斯消元法是人类历史上第一个被广泛使用的”算法优化”。
（ps：一个有趣的冷知识——欧拉当年是不推荐用消元法的，觉得太麻烦。勒让德管它叫”普通方法”。高斯自己称之为”常见方法”。直到1950年代，因为某些历史误读，这个方法才被冠上”高斯”的名字。可见命名权这东西，从来不在发明者手里。）
二、1858年：两个律师，一个疯狂的想法
高斯的故事告一段落。现在时间快进到1850年代的伦敦。
林肯律师学院（Lincoln’s Inn）是伦敦四大律师公会之一。这里的回廊上，有两个穿着律师袍的人经常并肩散步，嘴里聊的不是案件，而是一种奇奇怪怪的数学概念。
年长一些的那个叫詹姆斯·约瑟夫·西尔维斯特，犹太人，性格像一团火。
西尔维斯特的人生是一连串的”差点成功”。剑桥数学考试第二名——但因为犹太人的身份，拿不到学位。去美国弗吉尼亚大学当教授——三个月后因为一个学生用棍棒打他，他用剑杖还击，以为出了人命，吓得辞职逃回英国。回国后在一家保险公司当精算师，业余辅导数学——他的学生里有一个叫弗洛伦斯·南丁格尔的女孩。
1846年，32岁的西尔维斯特为了职业前途开始学法律。1850年，他获得了律师资格。
就在林肯律师学院，他认识了另一个学法律的数学家——比他小七岁的阿瑟·凯莱。
凯莱是剑桥三一学院的高材生，数学学位考试第一名（Senior Wrangler）。但因为不愿接受英国国教的神职，他无法续任剑桥的研究员职位。24岁的凯莱也选择了学法律。
（ps：19世纪英国大学的研究员职位要求接受圣公会神职——这导致了一批优秀的数学家被迫流向法律界。这是个非常英国式的荒诞剧情：因为宗教，数学史上最重要的两个矩阵理论奠基人，跑去当了律师。）
凯莱当了14年律师，专业是产权转让（conveyancing）。在这14年”业余数学”的生涯里，他发表了200到300篇数学论文。
1850年，西尔维斯特在一篇论文里造了一个词：matrix，矩阵。
拉丁语词根是”mater”（母亲），引申为”孕育之体”——西尔维斯特用它来形容”一个长方形排列的数字阵列，可以从中提取出各种行列式”。
（ps：西尔维斯特是个狂热的造词爱好者。除了”矩阵”，他还创造了”图”（graph，在图论意义上）、“判别式”（discriminant）、“totient”（欧拉函数φ(n)）。他也写诗——但毫不意外地不受欢迎。一个数学好到可以命名整个学科的人，偏偏热衷于写没人看的诗，这是不是有点可爱。）
但西尔维斯特只是给了一个名字。真正的矩阵理论，是凯莱建起来的。
1858年，37岁的凯莱在《皇家学会哲学汇刊》上发表了**《矩阵论备忘录》**（A Memoir on the Theory of Matrices）。这篇21页的论文，是人类历史上第一篇关于矩阵代数的系统性论文。
凯莱在上面做了几件事——每一件放在今天看都像先知：
-
首次抽象定义矩阵：它不是任何特定方程组的替身，而是一个具有自己代数规则的独立数学对象。
-
定义矩阵的加法、乘法、数乘和逆：这是人类第一次把”一堆数字的排列”当成可以运算的”单个量”。
-
发现矩阵乘法不可交换：A × B ≠ B × A。这在当时的代数世界里是一个令人不安的发现。在此之前，所有”数”的乘法都是可交换的——3×5等于5×3，天经地义。（ps：连牛顿和莱布尼茨都没见过”不可交换的乘法”。矩阵是数学史上第一个重要的不可交换代数结构。这个性质后来被量子力学继承——海森堡的”不确定性原理”用矩阵力学表达时，本质上就是因为两个算符不可交换。）
-
提出凯莱-哈密顿定理：任何一个方阵都满足它自己的特征方程。凯莱验证了2×2和3×3的情况——但他直觉地相信这对任何阶都成立。（事实确实如此。不过要等到20年后，德国数学家弗罗贝尼乌斯才在不知道凯莱论文的情况下，独立证明了一般情况。弗罗贝尼乌斯后来发现了凯莱1858年的原稿，慷慨地把荣誉归于凯莱。）
这篇论文发表后——
基本上没人读。
不是被批评了。是被忽略了。当时的数学家们看到的是一个奇怪的问题：你为什么要研究”一堆数字的排列”？它有什么几何意义？它解了什么古老难题？
凯莱没有争辩。他继续当律师，继续写论文，继续和西尔维斯特在回廊上散步。
1863年，剑桥大学新设立了一个纯数学教授职位（萨德莱尔讲席教授）。42岁的凯莱放弃了收入远高于教授的律师事业，回到剑桥。
西尔维斯特对此的评价带着一丝酸涩：“你不用像我一样，一个人和整个世界搏斗。“——凯莱结婚了，家庭生活幸福；西尔维斯特短暂婚姻后丧妻，终生独身。
1963年，凯莱去世。他一生发表了超过900篇数学论文——仅次于欧拉和柯西。
而他的矩阵理论，像一颗埋入地下的种子，等待了一百多年才真正长成参天大树。
三、矩阵为什么是AI的”汇编语言”？
如果你觉得前面在讲故事，那接下来的部分要讲逻辑了。
我请你思考一个问题：为什么是矩阵？
为什么所有AI模型——从2012年的AlexNet到2026年的GPT-5——在最底层做的都是矩阵乘法？为什么不是积分？为什么不是微分方程？为什么偏偏是这个1858年由一个律师发明的抽象概念？
答案有三层。
第一层：线性代数是”描述高维变换”的唯一语言。
AI做的事情，本质上只有一件：把输入X通过一系列变换变成输出Y。
X可以是一段文本的token序列。Y可以是下一个token的概率分布。中间的变换——Attention、MLP、层归一化——每一步，都是某种从一个高维空间到另一个高维空间的映射。
而数学上描述”从一个向量空间到另一个向量空间的线性映射”的唯一标准工具，就是矩阵。
这不是巧合。这是结构性的必然。
说人话就是：如果你想在一个4096维的空间里对信息做变换，不管你怎么设计你的模型，你的计算最终都会落在矩阵乘法上。 因为矩阵是线性变换的天然数学语言——这是线性代数的基本定理。你绕不开它。
第二层：链式法则 + 矩阵乘法 = 反向传播。
大模型不是”造好就完事了”。它需要训练——用亿万条数据，一遍遍调整参数。
调整参数的算法叫梯度下降。梯度下降的核心叫反向传播。反向传播的数学本质是什么？
链式法则：一层层往前传是矩阵乘法，一层层往回传还是矩阵乘法。
在前向传播中，每一层的输出 = 权重矩阵 × 输入向量。在反向传播中，每一层的梯度 = 雅可比矩阵的乘积。
整个训练过程，就是无限循环的矩阵乘法。
第三层：矩阵乘法的并行性完美匹配GPU架构。
这才是本文最关键的洞察。
矩阵乘法的计算模式是什么？看一个最简单的例子：
C = A × B，其中A、B、C都是n×n矩阵。
计算C的第i行第j列：C[i,j] = A的第i行 · B的第j列 = A[i,1]×B[1,j] + A[i,2]×B[2,j] + … + A[i,n]×B[n,j]
这里的关键是：C的每一个元素，都可以完全独立地计算。 C[1,1]的计算不需要等C[1,2]的结果。所有n²个元素可以同时算。
这就是计算机科学家说的”尴尬并行”（Embarrassingly Parallel）——它并行起来容易到令人尴尬的程度。
而GPU是干什么的？
GPU最初设计出来是为了渲染游戏画面。一块1080p屏幕有200万像素，每一帧画面需要同时计算这200万个像素各自应该是什么颜色、什么阴影。GPU的解决方案很简单粗暴：塞几千个小型计算核心进去，每个核心只做最简单的乘法和加法，但所有核心同时开工。
矩阵乘法的并行模式，和GPU的架构模式——两者是天作之合。
（ps：有些天作之合需要等170年才被人类发现。1858年凯莱定义矩阵乘法时，世界上连电灯泡都没有。2017年NVIDIA在V100 GPU上推出Tensor Core——一块专门为”4×4×4矩阵乘加”设计的硬件单元——的时候，不知道有几个工程师想到了凯莱的名字。但我敢打赌，一个都没有。）
四、一张芯片上的矩阵史
2017年，NVIDIA发布Volta架构的V100 GPU。
这是人类历史上第一次，有人把”矩阵乘法”直接刻进了硅片。
V100有640个Tensor Core。每个Tensor Core每个时钟周期执行一次4×4×4的矩阵乘加运算——D = A × B + C。A和B是4×4的FP16半精度矩阵，C和D是4×4的FP32全精度矩阵。
听起来没什么了不起？我们算一笔账：
一个Tensor Core一个周期完成 4×4×4 = 64 次乘法 + 64 次加法 = 128 次浮点运算。640个Tensor Core × 128 次运算/周期 × 时钟频率 = 125万亿次浮点运算/秒（125 TFLOPS）。
作为对比，上一代P100 GPU（没有Tensor Core）在FP32精度下的峰值只有10.6 TFLOPS。
一块芯片，性能翻了12倍。把矩阵乘法刻进硬件，就像给鸟装上翅膀。
但这只是第一代。
2020年，A100（Ampere架构）：第三代Tensor Core，支持TF32和BF16，稀疏矩阵加速。
2022年，H100（Hopper架构）：第四代Tensor Core，第一次原生支持FP8精度。H100做FP8矩阵乘法的速度，是A100做BF16的4.8倍。
2024年，B200（Blackwell架构）：第五代Tensor Core，连”矩阵存在哪里”都重新设计了——引入张量内存（TMEM），让两个SM可以协作计算同一块矩阵。
从2017年到2026年，Tensor Core每一代的升级，本质上只做一件事：让矩阵乘法算得更快。
而整个AI行业的进步——GPT-1到GPT-2到GPT-3到GPT-4到GPT-5——在硬件层面，本质上也只是依赖一件事：矩阵乘法算得越来越快。
（ps：有一个细节值得玩味。NVIDIA的工程师在设计Tensor Core时，面临一个问题：指令发射消耗的能量（约30pJ）远大于浮点运算本身（约1.5pJ）——有20倍的浪费。他们的解决方案是设计”HMMA”指令：一条指令，完成一整个4×4×4矩阵的64次乘加。这样，指令功耗被64次运算分摊掉了。这不是什么新数学，这是1858年凯莱把”一堆数字”抽象成”一个矩阵”的同一个思维：把多个东西打包成一个东西来操作。 凯莱在纸上做的抽象，NVIDIA在芯片上做成了硬件。）
五、世界是一个巨大的矩阵乘法
现在回过头看开头的那个问题：AI到底在算什么？
一个典型的GPT式大模型，有一百多层Transformer。每一层里：
- Multi-Head Attention = Q、K、V三个矩阵的乘法 + Softmax + 再加一个输出投影矩阵乘法
- Feed-Forward Network = 两个巨大的矩阵乘法（先膨胀到4倍维度，再压缩回来）
- Layer Normalization = 向量运算（可以写成矩阵形式）
前向传播算一遍。然后反向传播再算一遍——同样的矩阵乘法，方向反过来。然后更新参数——又是矩阵运算。
一个拥有1750亿参数的GPT-3，训练时每次迭代要做多少矩阵乘法？
不是”很多”这个词能形容的。也不是”天量”能形容的。是那种让你对”万亿”这个数量级失去感觉的规模。
而这一切——所有这些计算——在最底层，不过是一个公式：
C = A × B
（ps：有时候科学的进步就是如此荒诞。人类花了两千年搞清楚怎么解方程组。花了两百年搞清楚矩阵的代数结构。花了一百年造出电子计算机。花了五十年造出GPU。花了二十年让大模型跑起来。最终这所有的努力汇聚到一块指甲盖大小的硅片上，每秒执行一种运算，一种运算，一种运算。矩阵乘法。这就是我们文明的算力根基。而它开始于1858年，一个37岁的英国律师在一篇无人读懂的论文里，第一次写下了”假设有一个矩阵……”这几个字。）
六、尚未写完的尾声
故事还没有结束。
2026年的AI前沿，已经在讨论”超越Transformer”的架构。Mamba状态空间模型、RWKV线性注意力、液冷集群里的各种新架构实验。每一个新架构，本质上都是在寻找一种新的方式，来降低对矩阵乘法的依赖——或者说，找到一种可以用更少矩阵乘法完成同样计算的方法。
但目前为止，矩阵乘法仍然是王者。
有一个说法叫”线性代数的诅咒”：任何被映射为高维向量的信息，它的任何有意义的变换，都不可避免地要经过矩阵乘法。这不是工程的局限，这是数学的结构。
这可能意味着：只要有AI，就有矩阵。只要有矩阵，就有矩阵乘法。只要有矩阵乘法，就有用武之地的GPU，和那个1858年在伦敦律师学院回廊上散步的律师的幽灵。
或者换个更有烟火气的说法：
凯莱没有活到看见电子计算机的那一天。但今天地球上每一块GPU里Tensor Core的每一次脉冲，都是在执行他1858年定义的那种运算。这个37岁的英国律师，可能是有史以来最被低估的”计算机架构师”——尽管他连计算机是什么都不知道。
下一篇预告：《AI的数学血脉｜线性代数的基因们》——特征值与特征分解：为什么Attention多头之间，会自动”分工作业”？