AI的数学血脉|一个30岁的俄国人,用60页把概率变成了数学


1933年。柏林。施普林格出版社。

一本薄薄的德文小册子出版了。封面上的标题朴素到几乎像行政文件:《概率论的基本概念》(Grundbegriffe der Wahrscheinlichkeitsrechnung)。

作者:A. Kolmogoroff。30岁。莫斯科大学教授。

这本册子只有约60页。比今天的任何AI论文都短。

它回答了一个困扰了数学界两百年、被希尔伯特列为20世纪数学最重大待解决问题之一(第六问题)的难题:概率论能否像几何学一样,建立在严格的公理体系之上?

柯尔莫哥洛夫的答案是:能。而且只需要三条公理。

(ps:想象一下。1933年的世界:希特勒刚刚上台。大萧条肆虐。苏联还在斯大林五年计划的狂热之中。概率论——在贝叶斯、拉普拉斯、马尔可夫等人的手中已经发展成为一套强大的工具——但它的数学地基是沙。没人能精确地说出”概率”到底是什么。同一个问题,贝叶斯学派和频率学派给出不同的答案,而这两派谁也无法说服谁。柯尔莫哥洛夫只用了60页,就结束了这场争论。不是说服了某一派。而是——说清楚了”概率”这个数学概念的名义范围是什么。像欧几里得用五条公理定义了几何学一样,柯尔莫哥洛夫用三条公理定义了概率论。)


一、1903-1922:一个19岁就让全世界知道自己的孤儿

安德雷·柯尔莫哥洛夫1903年4月25日出生在一个不合适的地方——坦波夫,莫斯科东南500公里。他的母亲正在旅途中。她未婚怀孕。孩子出生后——她死了。

婴儿由母亲的妹妹、他的姨妈抚养长大。他取了外祖父家族的姓——柯尔莫哥洛夫。他的亲生父亲,一个农学家,几乎没有出现在他的生命中。

姨妈是个教师。她给了这个孩子最好的教育。

1920年。17岁的柯尔莫哥洛夫来到莫斯科。他同时报了三所学校:莫斯科大学历史系、数学系、门捷列夫化工学院冶金专业。 他还没想好自己这辈子要做什么。

答案是——数学。而且快得惊人。

1922年。柯尔莫哥洛夫19岁,大学二年级。

他正在上斯捷潘诺夫教授的傅里叶分析课。卢津学派——莫斯科大学当时最强的数学圈子——提出了一个著名问题:每一个平方可积函数的傅里叶级数是否几乎处处收敛?

柯尔莫哥洛夫没有正面回答这个问题。他用一个反例摧毁了问题的更宽泛版本:

他构造了一个可积函数,其傅里叶级数几乎处处发散。

(ps:这个结果有多震撼?卢津的猜想是针对”平方可积函数”的——这是一个相对”好”的函数类。柯尔莫哥洛夫证明了:如果放宽到更一般的”可积函数”,傅里叶级数可以烂到你无法想象的程度。这就像有人说”所有动物都能飞”。然后柯尔莫哥洛夫指着一头猪说:“这个不能。“他不是证明了”能飞的动物有很多”——他证明了”这个说法在更大的集合里不成立。“真正的猜想要等到44年后的1966年,才由瑞典数学家卡尔森证明了”对平方可积函数,确实几乎处处收敛”——而柯尔莫哥洛夫的反例精确地标出了这个结论能成立和不能成立的边界。)

一个19岁的大学二年级学生。一夜之间成为国际名人。

1925年本科毕业。他已经发表了10篇论文。 这在一个教授的整个职业生涯中都算不错了。他只用了一个本科。

博士资格在1929年完成。又发表了8篇。


二、1933:河岸边的森林里,三条公理的诞生

1931年。柯尔莫哥洛夫被任命为莫斯科大学教授。28岁。

他的研究方向逐渐从傅里叶分析转移到概率论。他和亚历山大·辛钦合作,研究强大数定律和重对数律。但这些工作使用的是一个没有地基的数学体系。

柯尔莫哥洛夫决定解决这个问题。

在他的朋友、拓扑学家帕维尔·亚历山德罗夫的回忆中,那本改变概率论的书——是在一条小河岸边的森林里写的。

(ps:这个画面值得记住。1930年代初。苏联大饥荒刚刚结束。政治清洗尚未开始——莫斯科大学还是一座数学的天堂。两个年轻人——柯尔莫哥洛夫28岁,亚历山德罗夫比他稍长——经常一起去旅行。在森林里。在河边。亚历山德罗夫写他的拓扑学巨著(与Hopf合作的那本)。柯尔莫哥洛夫写他的概率论公理体系。一本改变了整个拓扑学。一本改变了整个概率论。两本书的写作地点是——同一片森林。这在数学史上可能是一个无法复制的诗意时刻。)

1931年夏。他和亚历山德罗夫进行了一次漫长的旅行:从雅罗斯拉夫尔出发,沿伏尔加河而下,横穿高加索山脉,到亚美尼亚的塞凡湖。他在湖边工作了几个星期——研究的是连续状态和连续时间的马尔可夫过程。这些结果在1931年发表,标志着扩散理论的开端。

同一次旅行。他还在柏林、哥廷根、慕尼黑、巴黎停留,与当时欧洲最好的概率论研究者——保罗·莱维、莫里斯·弗雷歇——进行了深入讨论。

1933年。《概率论基础》出版。

三条公理:

  1. 非负性:任何事件的概率不小于0。P(A) ≥ 0。

  2. 归一化:整个样本空间的概率为1。P(Ω) = 1。

  3. 可数可加性:互斥事件之并的概率等于各自的概率之和。P(A∪B) = P(A) + P(B),且这个性质对无穷序列也成立。

(ps:这里需要解释一下为什么第三条公理是关键。在1900年之前,柯尔莫哥洛夫的前辈——特别是埃米尔·波雷尔——一直在争论:概率论中的”加性”是否应该允许”无穷加性”?如果一个事件可以拆成无穷多个互斥的小事件,它发生的概率是否等于这些小事件概率的无穷和?波雷尔说是的——而且他在1909年用这个性质第一次严格陈述并近乎证明了强大数定律。但没有人把”可数可加性”明确列为一条公理。柯尔莫哥洛夫做了这件事。他把这变成了概率论的定义性要求。)

这三条公理背后的数学框架是测度论——20世纪初勒贝格发展的一套”测量面积、长度、体积”的理论。柯尔莫哥洛夫的洞察是:

概率,本质上是测度。事件,本质上是可测集。随机变量,本质上是可测函数。数学期望,本质上是勒贝格积分。

这意味着——概率论不再需要自己的特殊基础。它被完成了。它是测度论的一个特例。从此以后,概率论中的所有定理都可以从这三条公理出发被严格证明——就像几何学中的所有定理都可以从欧几里得的五条公理出发被证明一样。

柯尔莫哥洛夫在序言中写道:

“本书的目的是为概率论建立一个公理化的基础。作者的任务是——在普遍接受的现代数学概念中找到概率论基本概念的自然位置。在勒贝格建立测度和积分理论之前,这个任务几乎是没有希望的。“


三、从概率到万物:一个人的数学帝国

柯尔莫哥洛夫不是那种做了一件事就停下来的人。

事实上,《概率论基础》出版之后——他的人生才刚刚开始。

1938年。他成了斯捷克洛夫数学研究所概率统计部的首任主任。35岁。

1941年。纳粹入侵苏联。莫斯科陷入围城。柯尔莫哥洛夫没有上前线。他做了另一件事:用两篇各四页的论文,建立了湍流的统计理论。

湍流——流体力学中最难的问题。空气在机翼周围的不规则运动。大海中的涡旋。从达芬奇时代人们就开始观察它,但没有人能写出它的方程。

柯尔莫哥洛夫没有解湍流方程。他做了一件更深刻的事:用概率的视角重新定义了问题。

他假设:小尺度的湍流运动是统计均匀和各向同性的——无论它在空间中的哪一点、哪个方向出现,其统计性质都一样。在这个前提下,小尺度运动的唯一决定因素是能量耗散率流体粘性。然后他推导出:

K41理论。其中包括著名的 “2/3定律”:在充分发展的湍流中,两点之间速度差的均方值与它们之间距离的2/3次方成正比。

(ps:这在物理性质上是完全反直觉的。你期望的是线性的关系——距离增加一倍,速度差也增加一倍。但实验数据说不是。柯尔莫哥洛夫用量纲分析+概率假设导出了2/3这个指数——它后来被无数次实验所验证。这篇论文的影响如此深远,以至于今天的湍流研究中,“柯尔莫哥洛夫尺度”、“柯尔莫哥洛夫谱”是标准词汇——就跟物理学家的”牛顿”、“焦耳”一样。而他写这篇论文的时候——纳粹军队离莫斯科只有几十公里。)

1953-1954年。他发表了两篇论文,每篇四页。内容:行星运动的长期稳定性。 这就是KAM理论的开端——柯尔莫哥洛夫-阿诺德-莫泽尔理论。它证明了:在微小的扰动下,行星轨道不会”散架”——太阳系在概率意义上是稳定的。

1957年。他解决了希尔伯特第十三问题。

1965年。他定义了柯尔莫哥洛夫复杂度:一个对象的复杂度等于能生成它的最短计算机程序的长度。这个定义——独立于索罗蒙诺夫和柴廷——同时创立了算法信息论。

(ps:想一想。同一个人。公理化了概率论。建立了湍流统计理论。证明了太阳系的稳定性。定义了信息的复杂度。再加上在拓扑学(上同调环)、傅里叶分析(发散级数反例)、数学教育——他是苏联最核心的数学教育改革者——等领域的贡献。一个人。一辈子。这可能就是”柯尔莫哥洛夫”在数学史上被与高斯、欧拉相提并论的原因。)


四、2026:三条公理的终极应用

现在。回到2026年。回到AI。

任何一个大语言模型的训练过程——从数据准备到损失降到收敛——依靠的是一个完整的概率论体系。

最大似然估计(MLE)——预训练的核心目标——建立在概率测度的概念上。它的理论基础是:P(数据 | 参数)。这三个符号,每一个都需要柯尔莫哥洛夫的公理体系来赋予数学意义。

交叉熵损失——每一个Token预测的”罚分”——H(p, q) = -Σ p(x)log q(x)。这是一个数学期望。它是一个积分——对概率测度的积分。在柯尔莫哥洛夫之前,没有人在严格的意义上知道”对概率测度的积分”是什么。

随机梯度下降——每一步的梯度估计是一个随机变量。它的收敛性依赖于大数定律。而大数定律的严格证明,依赖于可数可加性公理。

柯尔莫哥洛夫在1933年序言中写道:“必须将概率论从那些把它与几何捆绑在一起的元素中剥离出来。“他在说的是——不要把概率想象成”面积”,想象成”曲面以下的体积”。把它想象成一个纯粹的函数。定义在抽象的集合上。满足三条公理。其余的一切——都是推导。

任何一个AI模型输出的Softmax分布——P(token_i | context)——都建立在这三条公理定义的概率概念之上。

不是贝叶斯的主观信念概率。不是频率派的长期频率概率。是柯尔莫哥洛夫的公理概率——只要满足三条规则,你怎么解释都可以。

六十页。三条公理。定义了人类建立过的最复杂计算系统的最底层数学语言。


五、一个俄国人的不朽

1987年10月20日。安德雷·柯尔莫哥洛夫在莫斯科去世,享年84岁。

他活着的时候看到了概率论成为一门受人尊敬的数学分支。看到了计算机科学从他定义的复杂度概念中成长起来。看到了湍流理论的实验验证。看到了KAM理论对天体力学的影响。

他没有看到的是:一个建立在GPT架构上的聊天机器人,在每一次输出时,都默默地遵守着他在1933年写下的那三条公理。

柯尔莫哥洛夫的讣告写道:“他属于那种极为罕见的数学家——在他们的工作中,纯粹数学、应用数学和哲学思考融合为一个不可分割的整体。“在一条小河的岸边。在一片森林里。一个30岁的俄国人用了60页纸,就没有人再需要重新回答”概率是什么”。九十年后。地球上最智能的机器,用它做每一个决定。


下一篇预告:《AI的数学血脉|熵:从蒸汽机到信息世界》——第四辑(信息论)开篇。从克劳修斯命名”熵”到玻尔兹曼给出S=k log W再到香农定义信息熵H=-Σp log p。一个念头跑了八十多年,从蒸汽机烧进了ChatGPT。