AI是数学的孩子：从梯度下降到Transformer，算法的数学血脉
副标题：为什么硅谷最聪明的钱，正在疯狂押注”数学”？
2026年3月，一个24岁的斯坦福辍学生拿了2亿美元。
Carina Hong，MIT期间发表过9篇数学论文，创办了一家叫Axiom Math的公司。A轮融资后，估值16亿美元。投资人是Menlo Ventures。
她的公司做的事情听起来极度不性感：用Lean——一种专门写数学证明的编程语言——让AI生成可以被机器100%验证为正确的代码。
同一个月，Robinhood创始人Vlad Tenev的AI数学公司Harmonic，宣布C轮融资1.2亿美元，估值14.5亿。投资人名单里，赫然出现了Nvidia。
与此同时，2025年，美国数学学会（AMS）出版了一本新教材：《Mathematical Foundations of Deep Learning Models and Algorithms》——这是AMS两百多年历史上，第一次把深度学习写进正式教材。
三件事放在一起，一个信号再清晰不过了：
数学界正在”认领”AI。
而资本市场，正在为此买单。
问题是：为什么？
一、一个被忽略的真相：AI不是一个技术奇迹
过去三年，所有人都在用”革命""颠覆""范式转移”来描述AI。
大模型写代码、做PPT、画画、作曲。仿佛一群工程师在2022年的某天突然发明了一个全新的东西。
但这不是事实。
AI没有发明任何新的数学。它只是——以人类历史上前所未有的算力规模——把几个世纪以来的数学定理运行了一遍。
换句话说：
AI不是一个技术奇迹。它是一个数学定理在GPU上的工程实现。
这个认知差，是理解整个AI时代的钥匙。
ps: 你可能会觉得”这也太低估AI了吧？“但请往下看——正是因为AI是数学的孩子，它的天花板才不是”算力不够”，而是”数学还没走到那一步”。
二、“数学血脉”：五条定理如何撑起整个AI大厦
我把支撑AI的五条数学脉络称为**“数学血脉”**。这个名字可能会在本系列反复出现——因为这五条血脉流淌在每一个大模型、每一次训练、每一轮推理当中。
血脉一：微积分（17世纪）→ 反向传播（1986）→ 万亿参数训练（2026）
1676年，莱布尼茨在笔记里写下了一个极其朴素的公式：
dy/dx = (dy/du) × (du/dx)
这就是链式法则——复合函数求导的基本规则。
它太基础了。基础到每一个高中生都会算。基础到它在微积分教材里就像一杯白水，毫无存在感。
但310年后，这杯白水变成了一颗核弹。
1986年，Rumelhart、Hinton和Williams在Nature上发表了一篇只有4页的短文：《Learning representations by back-propagating errors》。这篇论文的核心内容可以用一句话概括：
反向传播 = 链式法则从输出层到输入层的递归展开。
Hinton后来回忆说：“我们在一个周末就写完了反传——1985年初方程就有了，但Rumelhart坚持要等到一个优雅的实证演示。”
那个优雅的演示是”家族树实验”——训练一个神经网络学习亲属关系。当隐藏层自发产生了”国籍""代际”等概念的分布式表征时，Rumelhart说：“就是它了。”
这个实验的意义远超一篇Nature论文。它是人类历史上第一次实证证明：多层网络不需要人类手动设计特征——它可以自己学会”理解”数据的内在结构。
今天你看到的每一个大模型——GPT、Claude、Gemini、DeepSeek——它们训练的核心步骤都离不开反向传播。而反向传播的核心，就是莱布尼茨在1676年写下的那行微积分恒等式。
1847年，柯西提出了最速下降法——沿函数下降最快的方向（梯度负方向）寻找最小值。他的动机是天文学轨道计算（需要解6个未知数的非线性方程组）。
一个半世纪后，AdamW优化器（2017年提出）用柯西的方法驱动GPT的万亿参数走向更低的损失。只不过，柯西那时面对的是6维空间，而GPT面对的是1750亿维。
同一个公式，不同的舞台。
血脉二：线性代数（1858）→ 矩阵乘法 → GPU时代
1858年，英国数学家阿瑟·凯莱发表了《矩阵论备忘录》（A Memoir on the Theory of Matrices）。这被公认为矩阵代数作为独立数学分支的诞生。
在此之前，“矩阵”这个词是西尔维斯特在1850年创造的。但凯莱赋予了它生命——他在1858年的论文中首次抽象定义了矩阵，建立了加法、乘法、标量乘法和逆矩阵的完整代数。
有趣的是：凯莱和西尔维斯特是终身挚友，形成了”数学史上最富有成效的友谊之一”——但两人从未合写过一篇论文。当时学术界的惯例是单人署名。
更有趣的是：凯莱的矩阵论发表后”基本被搁置”了半个世纪。直到1925年海森堡创立量子力学的矩阵力学，矩阵代数才获得应有的关注。
今天，矩阵乘法是全球最大规模的基础运算。
GPT的每次推理 = 数十亿次矩阵乘法。H100的Tensor Core每秒执行数万亿次。Transformer的核心——注意力机制——从Q、K、V三个矩阵的乘法开始，并以softmax(QK^T/√d) × V收尾。
1858年凯莱在纸上画出的矩阵运算，如今是H100芯片上每秒万亿次的呼吸。
ps: 你有没有想过，为什么”GPU革命”恰好发生在矩阵代数成熟的130年后？因为GPU的设计就是为了做一件事：并行矩阵乘法。而矩阵乘法，碰巧是所有AI计算的原语。这不是巧合，这是数学提前一个多世纪为AI准备好了语言。
血脉三：概率论（1763/1933）→ 条件概率模型 → GPT的输出逻辑
1763年，一个叫托马斯·贝叶斯的英国牧师去世了。两年后，他的好友理查德·普莱斯在他的遗稿中发现了一个等式——
P(A|B) = P(B|A) × P(A) / P(B)
这就是贝叶斯定理。贝叶斯一生只发表过两篇论文——一篇神学，一篇数学。这篇数学论文是他死后才发表的。
1774年，拉普拉斯独立重新发现了这个定理，并把它推向了全新的高度。
今天，ChatGPT选择每一个输出词的过程，本质是：
给定上文所有Token，计算下一个Token的条件概率分布，然后从中采样。
P(下一个词 | “今天天气真”) = {“好”: 0.45, “热”: 0.15, “冷”: 0.08, …}
你输入的每个问题，AI都在做同一件事：用贝叶斯的条件概率框架，在你上文构建的”条件”下，计算出最可能的下文。
1933年，苏联数学家柯尔莫哥洛夫做了一件不可思议的事：他用60页的小册子，把整个概率论建立在测度论的严谨基础之上。从那天起，概率不再是”直觉计算”，而是严谨的数学分支。
柯尔莫哥洛夫的公理，是所有LLM训练框架的数学基石。 交叉熵损失函数、极大似然估计、困惑度评估——每一个训练指标都建立在他的公理体系之上。
血脉四：信息论（1948）→ 交叉熵 → 大模型的”计分板”
1948年，克劳德·香农在贝尔实验室的《Bell System Technical Journal》上发表了一篇论文：《通信的数学理论》。
这篇论文定义了一个概念：信息熵。
H = -Σ p_i × log p_i
它衡量的是：一个随机变量的”不确定性”有多大。
但香农的洞见不止于此。他还定义了交叉熵——当你的模型用分布Q来”解释”真实分布P时，需要付出的额外编码成本。
今天，几乎每一个大模型的预训练都只有一个核心目标：最小化交叉熵。
每次训练迭代，模型输出一个概率分布，真实Token给出正确位置，交叉熵计算两者之间的差距。差距越小，模型”越不惊讶”。
PS: 你在HuggingFace上看到训练曲线里的那个不断下降的数字——loss从10降到5降到3降到2——本质上就是交叉熵。你在看的，是香农1948年的公式在一遍遍地计算”模型还有多不了解语言”。
更有意思的是：熵这个概念最初来自蒸汽机。
1865年，克劳修斯在研究热机效率时创造了”熵”（Entropy）。1877年，玻尔兹曼给出统计解释：S = k log W。1906年，玻尔兹曼因自己的原子理论被马赫等权威围攻，抑郁自杀。
从蒸汽机的效率问题，到一个物理学家为之付出生命的统计解释，再到一个通讯工程师的信息论革命，最后到2026年每天训练万亿参数大模型的损失函数——“熵”穿越了160年，始终在做一件事：衡量不确定性。
只不过19世纪它衡量分子的混乱，21世纪它衡量AI对下一个词的”惊讶”。
血脉五：高维几何（1844）→ Embedding → 语义空间的魔法
1844年，一个叫赫尔曼·格拉斯曼的德国中学教师自费出版了一本书：《线性扩张论》。在书中，他提出了一个在当时堪称疯狂的想法：我们的空间可以是任意维度的。
学术界完全冷落了他。格拉斯曼终其一生未被聘为大学教授。他后来转向梵语研究，反而因此成名。
死后30年，数学家们重新发现了他的价值。20世纪，量子力学用了他发明的外代数做数学基础。21世纪，Embedding将整个语言映射为稠密向量——
格拉斯曼的”n维空间”，如今是GPT理解世界的舞台。
2013年，Word2Vec做出了一个震惊NLP学界的发现：
vec(国王) - vec(男人) + vec(女人) ≈ vec(王后)
语义关系 = 高维空间中的向量运算。
Transformer把整个句子的语义”压缩”进d_model维向量空间（GPT-4是4096维）。语义相似度 = 向量夹角的余弦。类比推理 = 向量加减法。
把语言变成数字，在数字空间中重新发明语言——这是21世纪最伟大的数学魔术。
三、一个你不能回避的问题
读到这里，你可能已经发现了：
| AI的”核心技术” | 本质 | 数学来源 | 年代 |
|---|---|---|---|
| 反向传播 | 链式法则 | 莱布尼茨 | 1676 |
| 梯度下降 | 最速下降法 | 柯西 | 1847 |
| 矩阵计算 | 矩阵代数 | 凯莱 | 1858 |
| Token预测 | 贝叶斯条件概率 | 贝叶斯/拉普拉斯 | 1763/1774 |
| 损失函数 | 交叉熵 | 香农 | 1948 |
| 语义空间 | 高维向量空间 | 格拉斯曼 | 1844 |
| 注意力机制 | 核方法 + softmax内积 | 内积空间理论 | 19-20世纪 |
AI没有发明任何一栏里的东西。它只是把右栏的数学，用前所未有的算力跑起来了。
有人会问：“照你这么说，AI不就是一堆老古董吗？创新在哪？”
好问题。答案是：
创新不在公式本身，而在”组合”和”规模”。
就像一架波音787的零件——铝合金、钛合金、碳纤维——都不是波音发明的。但把这些已知材料以特定方式组合成一架能飞越大洋的飞机，这本身就是创造。
AI的创造在于：发现了”链式法则 + 大规模矩阵乘法 + 梯度下降”可以在足够深的网络中产生分布式表征，而分布式表征是通用智能的基础。
这不是工程问题，这是数学发现——只不过是通过实验而不是证明来完成的。
四、“数学反哺”：一个正在形成的加速飞轮
如果故事到此为止，AI不过是数学的”乖孩子”。但2025-2026年发生了一些真正令人兴奋的事情：
AI开始反哺数学了。
- AlphaProof（DeepMind，2025年11月Nature）：在IMO 2024上获得银牌，解决了全场最难一题。核心方法是”强化学习 + Lean形式化验证”——AI在数学的语言里”学会了”证明。
- Aristotle（Harmonic，2025年7月）：IMO 2025金牌级。不仅解题，还在训练过程中对Mathlib——全球最大的开源数学知识库——做出了原创贡献。不是背答案，是拓疆土。
- First Proof Project（2026年6月）：30位数学家裁判团。10道从未公开的研究级数学问题，AI以”发表级质量”解决了7道。单题成本1000。
这个循环正在形成：
更深的数学理论 → 更好的AI架构 → 更强的数学AI → 更快的数学发现 → 更深的数学理论 → …
而且这个循环在加速。因为每一步都产生数据（AI生成的证明 → 训练更好的AI → 生成更好的证明），每一步都降低下一步的成本。
这就是为什么Nvidia要投资Harmonic。为什么Robinhood创始人在做了十年金融科技之后All in数学AI。
因为他们看到了同一个东西：数学和AI正在进入一个正反馈加速循环。而在这个循环里，掌握”数学语言”的人，拥有定价权。
五、AGI：一个工程问题，还是一个数学问题？
最后，让我们回到那个终极问题。
过去十年，AGI的讨论被”算力焦虑”主导。Scaling Law告诉我们：更多数据 + 更多参数 + 更多算力 = 更好的模型。
但2025年开始，这个叙事出现了裂缝。模型的进步在放缓。“预训练撞墙”成为一个热门话题。
如果Scaling Law的天花板不是因为算力不够，而是因为数学没跟上呢？
当前的SGD优化器本质上是19世纪的数学。注意力机制本质上是内积空间中的相似度计算。如果出现基于信息几何或最优传输理论的新一代优化算法，训练效率可能有数量级的提升——不需要更多GPU，只需要更好的数学。
如果范畴论对attention mechanism的深层对应的研究取得突破，可能彻底重新设计Transformer——不是靠试错，而是靠数学证明哪种架构最优。
AGI的瓶颈，不在芯片，在公式。
而这，就是为什么硅谷最聪明的钱，正在从”买更多GPU”转向”雇更多数学家”。
2026年3月，当Carina Hong拿到2亿美元的时候，有人问她：“你做的事情和ChatGPT有什么不同？”
她的回答很简短：
“ChatGPT告诉你它认为答案是什么。我告诉答案是不是对的。”
这句话的精神祖先，不是Sam Altman，不是黄仁勋。
是莱布尼茨。是柯西。是凯莱。是香农。
他们在一个没有计算机的时代，写下了AI时代的底层代码。而我们现在做的所有事情——从GPT到Claude到DeepSeek——不过是在他们的语法里造句。
这，就是AI的数学血脉。
“1858年凯莱定义矩阵乘法的时候，不会想到167年后一个叫Transformer的东西将矩阵乘法推到了人类计算史的巅峰。但他也不需要想到。数学的美妙之处在于：正确的定理永远不会过时。它只是在等待属于它的时代。”
下一篇预告：《当AI开始做数学——从IMO银牌到研究级证明，机器的”数学直觉”从何而来》