AI的数学血脉｜一个俄国人用手数了两万个字母，一百年后，GPT用同样的原理预测你的下一个词
1913年1月23日。圣彼得堡。帝国科学院。
56岁的数学教授安德雷·马尔可夫走上讲台。台下坐着他物理数学系的同事们。那一天，整个俄罗斯帝国正在庆祝罗曼诺夫王朝三百周年——街上挂满彩旗，教堂钟声齐鸣。
马尔可夫对此无比厌恶。他是这个帝国里最不听话的知识分子之一——无神论者、自由派、被报纸称为”愤怒的安德烈”。他选择在那一天庆祝另一件事。
雅各布·伯努利《推测术》发表两百周年。
（ps：1713年，伯努利在这本书中首次提出了大数定律——概率论最基本的定理。一个俄国人选择用庆祝两百年前的数学定理来对抗三百年的皇权庆典。这大概只有马尔可夫干得出来。）
他的演讲题目枯燥得像公务员报表：《关于〈欧根·奥涅金〉文本中关联样本的统计研究》。
但他讲的内容——是一个数学史上前所未有的实验。
一、“愤怒的安德烈”和他必须要赢的那场论战
要理解马尔可夫为什么去数普希金的字母，得先理解他和谁在吵架。
19世纪末。俄国概率论有一个主宰者——帕夫努季·切比雪夫。马尔可夫是切比雪夫的学生，也是他最重要的继承者。
切比雪夫试图证明中心极限定理——概率论最核心的定理：不管原始分布是什么，大量独立随机变量的和趋向于正态分布。
但切比雪夫的证明有一个漏洞。马尔可夫花了十多年试图填补它。
与此同时，莫斯科有一个数学家叫巴维尔·涅克拉索夫。他是切比雪夫的对手。涅克拉索夫发表了一篇论文，声称：大数定律——概率论最基本的定理——只有在随机变量独立同分布时才成立。 如果事件之间存在依赖关系，大数定律就崩溃了。
马尔可夫读到这篇论文时暴怒了。
不是因为他认为涅克拉索夫错了——虽然他也这么认为。而是因为涅克拉索夫把切比雪夫的名字和”独立同分布”绑定在一起，暗示切比雪夫的方法仅适用于独立变量。
马尔可夫后来在一封信中写道：他要在涅克拉索夫自己的领地上打败他。
他要证明：即使事件之间存在依赖关系，大数定律依然有效。
（ps：科学史上很多伟大的突破，驱动它的不是纯粹的好奇心，而是愤怒。马尔可夫链的诞生——现代随机过程理论的奠基——来源于一场关于”谁对概率论做出了更重要的贡献”的个人恩怨。马尔可夫要的不是证明一个定理。他要的是用数学摧毁一个敌人的论断。）
二、1906-1913：从纯理论到”我需要一个例子”
1906年。马尔可夫发表了一篇论文。他构造了一个特殊的随机过程：在每一步中，你只依赖”现在”的状态来决定”下一步”——而不依赖任何更早的历史。
他证明：在这种过程中，大数定律依然成立。
这是人类历史上第一个马尔可夫链。
但论文发表后，马尔可夫面临一个尴尬的问题。他写了八年纯理论，证明了各种定理，推广了各类变体——但他没有一个现实的例子。
一个也没有。
他的链存在于数学公式中。没有物理学家用它描述布朗运动。没有经济学家用它预测股市。没有语言学家用它分析文本。马尔可夫自己从来没有想过”这个理论有什么用”。
（ps：一位数学史家写道：“对于马尔可夫来说，链的唯一真实例子就是文学作品中的字母序列。“他发明了一个理论，然后发现——在整个已知世界中，他唯一能用来展示它有效的东西，是一本小说。）
1913年。伯努利大数定律发表两百周年。马尔可夫需要做一次演讲。
他选择了亚历山大·普希金的诗体小说《欧根·奥涅金》。每一个受过教育的俄国人都能背诵它的开篇诗句。它是斯拉夫语言中最重要的文学作品之一。
马尔可夫拿起这本书——不是为了欣赏文学。
他打开第一章。加前十六节第二章。取前两万个字母。去掉所有空格和标点符号。把剩下的字母排成两百个十乘十的网格。像一个会计在盘点库存。
然后他开始计数。
元音：8638个。辅音：11362个。
接着数”相邻字母对”。
元音-元音：1104对。辅音-辅音：3827对。元音-辅音（含辅音-元音）：15069对。
现在来看这些数字意味着什么。
如果字母是独立的——随机掷骰子般地出现——那么两个元音连续出现的概率应该是(0.43)²≈0.19。在19999对相邻字母中，应该有约3731对”元音-元音”。
实际的数字是多少？——1104。不到理论值的30%。
马尔可夫用枯燥的统计学证明了普希金不是什么神秘的东西：语言中字母不是独立的。元音后面极大概率跟着辅音。辅音后面极大概率跟着元音。
（ps：这个结论对任何说人类语言的人来说都是废话。但马尔可夫不是语言学家。他想要证明的是另一件事：即使字母之间存在强依赖关系，大数定律仍然成立。 他找到了一个完美例子来摧毁涅克拉索夫的论点。而且顺便——他发明了人类历史上第一个自然语言处理的数学实验。 1913年。距离我们今天所说的NLP诞生，还有半个多世纪。）
三、一组数字的命运：被遗忘，再被重新发现
马尔可夫1913年的演讲发表在了帝国科学院的《公报》上。俄语。只有数学圈内的专家看过。
这篇论文直到2006年才被完整地翻译成英文。
九十三年。
（ps：想一想这意味着什么。我们今天说的”马尔可夫链”——Google用它给网页排名。物理学家用它模拟分子运动。经济学家用它预测利率。AI工程师用它设计语言模型的底层结构。所有这些应用都是在不知道那篇原始论文到底写了什么的情况下发展起来的。马尔可夫链被反复重新发明、重新发现、重新传播。它的俄语源头——那个愤怒的老头在一本诗集上画网格——被所有人遗忘了。直到2006年，一个德国研究者David Link翻出了原稿，组织翻译，全世界才第一次读到1913年那天马尔可夫在讲台上到底说了什么。）
马尔可夫1922年去世。去世前几个月，他几乎无法站立，但仍然在给彼得格勒大学的学生上概率论课。
他至死不知道他的链后来被用来做什么。
四、PageRank：一篇小说里的思想如何给整个互联网排序
1996年。斯坦福大学。
两个计算机科学博士生——拉里·佩奇和谢尔盖·布林——在做一个研究项目。他们想造一种新的搜索引擎。
当时的主要搜索技术是AltaVista——基于关键词匹配。搜”苹果”就返回所有包含”苹果”的网页。
佩奇和布林觉得这不够。他们发明了一个叫PageRank的算法。
PageRank的思想可以用一句话描述：
想象一个”随机冲浪者”。他随机点击网页上的链接。偶尔感到无聊就跳到另一个随机页面。一个网页的重要性等于这个随机冲浪者长期停留在该页面上的概率。
这是什么？——这就是一个马尔可夫链。
网页是状态。链接是转移概率。PageRank的排名是该马尔可夫链的平稳分布——那个随机冲浪者无限冲浪后停在各网页上的概率。
（ps：“随机冲浪者”这个比喻简直像直接从马尔可夫1913年的演讲中抽出来的。马尔可夫在推导他的链时使用的概念是”随机行走”——每一步从一个状态走到另一个状态。佩奇和布林在推导PageRank时使用的是”随机冲浪者”——每一步从一个网页走到另一个网页。两种表述在数学上完全等价。只是马尔可夫的状态是”元音或辅音”。Google的状态是”几十亿个网页”。）
佩奇和布林后来创办了Google。今天地球上所有搜索引擎的核心排名机制，都可以追溯到马尔可夫链。
---而马尔可夫最初的例子——是普希金小说中元音和辅音的交替。
五、2026：GPT的”链”记住了你的整段对话
现在。所有的大语言模型。
DeepSeek。豆包。GPT。Claude。
它们的最底层原理是什么？
自回归预测：给定迄今为止的所有Token，预测下一个Token。
P(x_t | x_{t-1}, x_{t-2}, …, x_1)
这在数学上是什么？——一个高阶马尔可夫模型。
（ps：严格来说，GPT不是”真正的”马尔可夫链。马尔可夫链的经典定义是：未来只依赖于当前状态。在GPT中，“当前状态”就是——整段对话历史。Transformer的注意力机制让模型可以”看到”所有之前的Token，所以”状态”可以无限延伸。但原理是相同的：你不需要掷骰子。你只需要知道此刻的状态是什么——不管这个”此刻”包含多长的历史——然后预测下一步。GPT把马尔可夫的”下一个状态”思想推到了极致：状态不再是”上一个字母”，而是——“你刚才说的每一个字。”）
2024年，一篇机器学习顶会论文的标题是这样写的：《大语言模型即马尔可夫链》（Large Language Models as Markov Chains）。论文证明了：任何自回归语言模型都可以被严格表示为一个在有限Token序列空间上的马尔可夫链。这个链具有唯一的平稳分布。
马尔可夫链——不是为了语言而发明的——最终成了语言的最精确描述。
六、一个俄国老人的数学游戏，为什么统治了世界？
马尔可夫链之所以无处不在——在搜索引擎、语音识别、股票预测、蛋白质折叠、大语言模型中——是因为它回答了一个最根本的问题：
如果世界不是独立的——如果每一个事件都在某种程度上依赖于之前发生的事——我们如何用数学来描述它？
在马尔可夫之前，概率论是一系列关于”独立事件”的理论。骰子。硬币。轮盘赌。
马尔可夫打破了这条铁律。他证明了：依赖可以被建模。不独立的世界也是可计算的。
（ps：这可能是马尔可夫对AI最深层的贡献——不在任何具体的算法或公式中，而在一个观念里。在他之前，概率论默认”事情的每次发生都是独立的”。这意味着你无法处理”序列”——无法处理语言、无法处理时间线、无法处理因果关系。马尔可夫改变了这个默认。从此，“下一个事件取决于当前状态”成为概率论中与”独立同分布”平起平坐的公设。自回归语言模型——从n-gram到GPT——每一个都是这个观念的后代。）
他没有看到任何这些。
1922年夏天。他的身体已经垮掉了。视力衰退，几乎不能站立。他仍在给彼得格勒大学的学生讲课——关于概率论。关于为什么依赖事件的极限定律是成立的。
7月20日。安德雷·马尔可夫去世。享年66岁。
他的讣告写道：“他属于切比雪夫的科学学派，比任何人都更忠诚于他的导师的信条和原则。”
而他的真正遗产——那条从普希金的两万个字母中翻出来的链——要等到一百年后，才被全世界最昂贵的机器设备执行到每一个Token的输出中。
马尔可夫选择在罗曼诺夫王朝三百周年庆典那天，庆祝大数定律两百周年。他不知道。他就是在那个下午——面对一群昏昏欲睡的院士、用一张画满网格的稿纸——发明了一个后来会统治所有搜索和所有AI的数学结构。 罗曼诺夫王朝在四年后灰飞烟灭。马尔可夫链活到了今天。这也许是他百年前那个抗议最完美的结局。
下一篇预告：《AI的数学血脉｜柯尔莫哥洛夫：概率的哥白尼革命》——一个30岁的俄国人，用60页的小册子，把概率变成了一门严格的数学。今天，所有AI模型的概率建模都在他的公理上运行。