AI的数学血脉｜一个18世纪英国牧师的遗稿，正在决定ChatGPT下一个输出什么词
当你和ChatGPT对话。你说了一句话。
它没有”思考”。没有”理解”。没有”推理”——至少不是人类意义上的。
它做了一件事。只有一件。
计算一个条件概率：P(下一个词 | 你刚才说的所有词)。
给定你迄今为止说的每一个Token，下一个最可能出现的Token是什么？再下一个是什么？再下一个？
这就是自回归语言建模的全部。而”条件概率”这个概念最核心的数学定理——贝叶斯定理——来自一个18世纪的英国牧师。他死后两年，他的朋友在他的遗稿中发现了它。
这篇遗稿，差点永远没有被发表。
（ps：在整个数学史上，可能没有任何一个重要定理的诞生比贝叶斯定理更接近”失传”。高斯藏着不发表是他自己选择。格拉斯曼发表了没人读是时代的问题。牛顿藏在抽屉里几十年最终还是会出。但贝叶斯——他死的时候论文就在他的文件堆里。如果他的朋友理查德·普莱斯没有去翻那些文件，如果普莱斯觉得”这看起来不太重要”，我们今天就没有贝叶斯定理。ChatGPT的整个数学基础就不存在。这大概是最极端的”蝴蝶效应”——一个朋友翻还是不翻一堆旧纸，决定了两百五十年后地球上最昂贵机器的核心算法。）
一、一个非国教徒牧师，一篇从未提交的论文
托马斯·贝叶斯大概1701年出生在伦敦。我们不太确定——他的出生年份是个”大概”。
（ps：整个数学史上，可能没有第二个定理以这样一个人命名。贝叶斯的生平资料极其稀少。已知的只有：三封信、一本笔记、一份遗嘱。没有肖像。没有日记。没有回忆录。他是那种活了六十年，留下的全部文字证据加起来不超过几百页的人。）
他的父亲约书亚·贝叶斯是英国最早被任命的六位非国教（长老会）牧师之一。在那个时代，非国教徒不能上牛津或剑桥。托马斯去了爱丁堡大学。学的是逻辑和神学。
毕业后，他也成了牧师。1733年左右，他被派到伦敦东南35英里的温泉小镇Tunbridge Wells。在那里的长老会教堂布道。一布就是近二十年。
他同时也做数学。
1736年。贝叶斯匿名出版了一本小册子：《流数论导引，兼为数学家辩护，驳《分析者》作者之攻击》。“分析者”的作者是贝克莱主教——那个用”已死量的幽灵”攻击牛顿微积分逻辑基础的哲学家。贝叶斯挺身而出为牛顿辩护。
这是他一辈子唯二发表的作品之一。另一本是神学论文《神圣慈爱》（1731），同样是匿名。
1742年——在他没有任何署名数学出版物的情况下——贝叶斯当选为英国皇家学会院士。这在当时极其不寻常。他的推荐人之一是斯坦霍普伯爵。这表明在伦敦的数学圈子里，他的能力是私下被认可的。
但他最伟大的作品——他从来没有提交。
二、1763：遗稿里的秘密
1761年4月17日。托马斯·贝叶斯在Tunbridge Wells去世。享年约60岁。
他的朋友理查德·普莱斯——也是一位非国教牧师和道德哲学家——被指定为遗嘱执行人之一。普莱斯在整理贝叶斯的遗物时，在一堆文件中发现了一篇数学论文手稿。
标题：《论机会学说中一个问题的解决》（An Essay towards Solving a Problem in the Doctrine of Chances）。
普莱斯读了。他觉得这篇论文”有重大价值”。他做了编辑，写了引言，加了一个附录。然后——1763年12月23日——他替一个已经死去两年的人，向皇家学会提交了这篇论文。
普莱斯在提交信里写道：
“我现在送上一篇论文，是我在我们已故的朋友贝叶斯先生的文件中发现的。在我看来，它具有重大价值……他在给这篇论文写的引言中说，他最初思考这个问题，是为了找到一种方法，让我们能够判断——在除了知道一件事过去发生了几次、失败了几次之外，对它一无所知的情况下——这件事在下次试验中发生的概率。”
（ps：注意这句话的历史分量。这是人类历史上第一次有人提出——并试图回答——逆概率问题：已知结果，倒推原因的概率。此前所有的概率论都是”正向”的：已知骰子是公平的，问掷出6的概率是多少。贝叶斯问的是反问题：掷了10次，出了3次6——问这个骰子公平吗？这是一个完全不同的问题。它要求你从”观测”倒推”假设”。这正是科学推理的核心动作。也恰好是——从一组Token倒推”下一个Token应该是什么”的核心动作。）
1764年。论文正式发表在皇家学会《哲学汇刊》上。
正文中有一个定理。我们今天叫它贝叶斯定理。
但贝叶斯自己从未这么叫它。他甚至可能没有意识到他”发现了一个定理”。他只是——在解一个问题。骰子的问题。
三、拉普拉斯：真正造了引擎的人
贝叶斯的论文发表后——基本没人读。
不是因为不好。是因为它只解决了一个特例（二项分布的均匀先验）。方法极其繁琐。积分算了几十页。没有人觉得这是一个”通用框架”。
十一年后。
1774年。一个25岁的法国青年——皮埃尔-西蒙·拉普拉斯——向法国科学院提交了一篇论文：《论事件原因的概率》。
拉普拉斯没有读过贝叶斯的论文。他是完全独立发现这条定理的。
但拉普拉斯做了一件贝叶斯没做的事：他把这个特例变成了通用框架。
他给出了定理的一般陈述——不限于二项分布。他提出了”不充分理由原则”来选择先验概率。他推导了”接续法则”（Rule of Succession）——如果太阳升起了n次，明天它升起的概率是(n+1)/(n+2)。他证明了后验分布在大样本下趋于正态（今天叫Bernstein-von Mises定理）。
此后四十年。拉普拉斯在论文、专著、应用中持续完善这个框架。他把”逆概率”应用到了天文学、测量学、人口学、法学。1812年——他的巨著《概率分析理论》出版。这是整个19世纪概率论的圣经。
（ps：现代统计史学家的一致结论是：“贝叶斯点燃了火柴。拉普拉斯造了引擎。” 如果我们诚实，今天所谓的”贝叶斯推断”——通用定理、先验后验、大样本理论、实际应用——几乎全部来自拉普拉斯。贝叶斯的贡献是”第一个想到了逆概率问题”——这很重要，足以让他名垂青史。但”贝叶斯主义”的实际内容，是拉普拉斯的。）
拉普拉斯在1781年知道了贝叶斯的工作。他公开承认了贝叶斯的优先权。不像牛顿对莱布尼茨。拉普拉斯是体面的。
四、“贝叶斯”这个名字是怎么来的——一段荒诞史
接下来发生了一件奇怪的事。
从1780年代到1920年代——将近一个半世纪——整个方法论被叫做 “逆概率” 。不是”贝叶斯”。所有使用它的人——包括高斯——用的都是拉普拉斯的框架，叫的是”拉普拉斯的方法”。
那它后来怎么变成了”贝叶斯”？
答案是：因为一个敌人。
罗纳德·费舍尔。20世纪最伟大的统计学家之一。也是”频率学派”最激烈的斗士。
1920年代到1950年代，费舍尔反复攻击”逆概率”。他认为先验概率是一种主观臆断——不符合科学客观性。在他的论文和辩论中，他不断使用”贝叶斯公设”（Bayes’ postulate）、“贝叶斯论断”（the Bayesian argument）这些词——带着或多或少的蔑意。
费舍尔的意图是贬低。但效果恰恰相反：标签固定了。
（ps：费舍尔可能是历史上最不情愿的”品牌命名者”。他每次提到”贝叶斯”，都是在批评。但他说了太多次。每次他攻击，每一次他的对手反击——“贝叶斯”这个词就多了一次被记录的机会。到1950年代，哈罗德·杰弗里斯、吉米·萨维奇、丹尼斯·林德利等人开始复兴逆概率——他们需要一个旗帜。费舍尔已经给他们造好了旗帜。他们捡起来，骄傲地挥舞。一个敌人起的蔑称，变成了一个流派最自豪的名字。 这在科学史上很少见。）
这场”频率学派vs贝叶斯学派”的战争，贯穿了整个20世纪。
频率学派说：概率是事件的”长期频率”。参数是固定的、未知的常数。不能给参数赋予概率。
贝叶斯学派说：概率是”信念的程度”。参数也可以有概率——它代表你对它的不确定性的度量。
在1950年代。在伯克利统计系——全美国最频繁学派的阵地——一个研究生如果公开支持贝叶斯，可能是”危险的”。苏黎世理工学院未来的校长Hans Buehlmann访问伯克利后，用了一个中性的、不暴露立场的词来描述自己的方法——以保护自己不被攻击。
哈佛商学院的教授因为在课上教贝叶斯决策树，被骂成”社会主义者”。
（ps：一个关于条件概率的数学定理——被指控为社会主义。这是20世纪意识形态战争中最荒诞的场面之一。）
但在地下。在不见光的地方。贝叶斯方法一直在被使用。
最著名的案例：艾伦·图灵用贝叶斯方法破解了恩尼格玛密码。
图灵把贝叶斯定理用在了密码分析上。他的助手杰克·古德——后来也成为著名的贝叶斯统计学家——回忆道：二战结束后，他在英国皇家统计学会讨论贝叶斯方法。下一个发言者的开场白是：“在刚才那通废话之后……”
战时的成功是最高机密。贝叶斯方法从战争中出来，名声比进去前还臭。
五、1980年代：计算机拯救了贝叶斯
然后计算机来了。
贝叶斯方法有一个实际障碍：计算后验分布。对于任何稍微复杂的问题，你需要算一个高维积分。手工计算——不可能。解析解——极少存在。
1980年代。马尔可夫链蒙特卡洛方法（MCMC）的出现改变了这一切。计算机可以”抽样”后验分布——不需要解析积分。只要你能写出似然函数，计算机就能近似后验。
贝叶斯突然变得实用了。
1990年代。贝叶斯网络。2000年代。贝叶斯非参数。2010年代。概率编程语言（Stan, PyMC3）。
贝叶斯从”哲学争论”变成了”工程工具”。
六、2026：ChatGPT选择每一个词时，都在遵守贝叶斯定理
现在。
任何一个大语言模型——GPT、Claude、Gemini——在最底层都是一个条件概率模型。
给定Token序列 x₁, x₂, …, x_{t-1}，预测下一个Token x_t 的概率分布。
P(x_t | x₁, …, x_{t-1})
这个形式本身——就是贝叶斯推断的核心语法。
（ps：当然，没有人显式地在大模型训练代码中写 P(A|B) = P(B|A)P(A)/P(B)。模型不是直接解贝叶斯公式的。但是——自回归语言建模把”学习世界”变成了”学习条件概率”。模型被训练来最小化负对数似然——这等价于最大化后验概率。模型输出的Softmax——就是概率分布。模型在上下文中学习和适应——这被称为”上下文学习”（in-context learning），而2022年以来多篇理论论文证明：Transformers的上下文学习，本质上就是在做隐式贝叶斯推断。 模型没有显式地”计算”贝叶斯定理，但它在参数空间中执行的操作，在数学上等价于贝叶斯更新。）
你给ChatGPT一个Prompt。它根据这个Prompt——这个”证据”——更新了它关于”你接下来想要什么”的内部信念。然后从这个更新后的信念中，采样出下一个词。
先验（训练时学到的语言知识）+ 似然（Prompt的内容）→ 后验（下一个Token的概率分布）
这是纯粹的贝叶斯推理。做了二千亿次。
（ps：有一篇2025年的论文标题就叫《LLMs are Bayesian, In Expectation, Not in Realization》——大语言模型”在期望上是贝叶斯的”。它们不一定每个具体的预测都满足贝叶斯更新——因为Transformer的位置编码打破了可交换性——但在大量样本的平均意义上，它们的预测行为完美匹配贝叶斯最优策略。一个牧师1763年的遗稿，被一个法国数学家改造成形式化的框架，被一个英国统计学家起了一个蔑称，被一群叛逆者骄傲地捡起来当旗帜，最后——被一群从来没有读过贝叶斯原版论文的工程师，写进了世界上最复杂的计算机程序。）
七、一篇论文的两种命运
这篇论文——贝叶斯1763年的遗作——在历史上曾经无限接近失传。
如果普莱斯没有翻那堆文件。如果他翻了，但觉得”这不重要”。如果皇家学会的编辑觉得”太长了，拒了”。
我们今天会有一个完全不同的词来称呼ChatGPT的数学基础。也许是”拉普拉斯推断”。也许是”逆概率语言模型”。
但它不会叫”贝叶斯”。
一个人的名字之所以被纪念，不仅因为他做了什么——还因为有人在某个下午，翻了那堆旧纸。
1763年12月23日。伦敦。理查德·普莱斯站在皇家学会的讲台上，替一个死去两年的人宣读论文。台下的院士们礼貌地听着，可能没有完全理解他们刚刚见证了什么东西的诞生。普莱斯不会知道。贝叶斯永远不会知道。那天下午被读出来的那个定理——P(A|B) = P(B|A)P(A)/P(B)——将在二百六十年后，被地球上最强大的机器，在每个输出的每一个词上，默默执行。
下一篇预告：《AI的数学血脉｜马尔可夫：用普希金的诗歌预言未来》——1913年，一个俄国数学家手动统计了《欧根·奥涅金》前两万个字母，验证了一条链。今天，GPT用同一条链预测你的下一个Token。