AI的数学血脉｜一个被围攻至死的奥地利物理学家，正在给ChatGPT”打分”
每个AI模型都有一个”成绩单”。
不是准确率。不是F1分数。不是人类评估排名。
是一个数字。训练时每一轮迭代都在下降。研究员盯着它判断模型是否在”学习”。产品经理用它比较不同版本的优劣。投资人对冲基金用它估算算力成本。
这个数字叫交叉熵损失（Cross-Entropy Loss）。
它的定义是：H(p, q) = -Σ p(x) log q(x)。
p是正确答案（“下一个词应该是’王后’”）。q是模型的预测（“有37%的可能是’王后’”）。交叉熵衡量p和q之间的”距离”。越小越好。零是完美的——模型猜得100%准确。
每一轮训练——一百层Transformer、几千亿参数——算出一个交叉熵。算梯度。用AdamW下降一步。交叉熵变小一点。循环。几百万轮之后——交叉熵收敛。
豆包的每一次输出。DeepSeek的每一个答案。都在最小化这个数。
但”熵”这个概念——交叉熵的那个”熵”——180年前出现在一个完全不相干的地方。
一台蒸汽机里。
一、1865：一个德国物理学家造了一个没人懂的新词
鲁道夫·克劳修斯不是那种名字被印在T恤上的科学家。他不像爱因斯坦那样长了一张可爱爷爷的脸。他是19世纪德国的体制内学者——波恩大学、苏黎世联邦理工、维尔茨堡大学——规规矩矩地升迁、写论文、教书。
但他做了一件只有真正的天才才会做的事：他造了一个全新的物理量。然后给它起了一个谁都不懂的希腊名字。
1865年。克劳修斯在《物理学年鉴》上发表了一篇论文。标题枯燥：《论机械热理论基本方程的几种便于应用的形式》。
在论文里，他引入了一个量——他称之为S。
为什么是S？没有人确定。可能是为了纪念萨迪·卡诺（Sadi Carnot）——法国工程师，热力学的先驱，36岁死于霍乱。也可能只是字母表上的一个选择。
但名字是精心挑选的：
Entropy。熵。
克劳修斯自己解释了词源：希腊语ἐν（en，“在……之中”）+ τροπή（tropē，“转变”）。“转变之中的东西”——“转变含量”（Verwandlungsinhalt）。
（ps：克劳修斯特别在意命名这件事。他写道：“我倾向于从古代语言中寻找重要科学量的名称，这样它们在所有现存语言中都有相同的意思。我有意造出’熵’这个词，使其在形式上与’能量’相似——因为这两个量在物理意义上非常相似，名称上的类比似乎是有帮助的。“——这是一位1850年代的品牌策略师，只是他自己不知道。）
但这个量到底是什么？
克劳修斯的定义是纯数学的：dS = dQ/T。熵的变化等于吸收的热量除以绝对温度。对于可逆过程——熵不变。对于不可逆过程——熵增加。
他论文的结尾两句话——可能是所有科学史上最简洁也最可怕的总结：
1. 宇宙的能量是恒定的。 2. 宇宙的熵趋于最大值。
第一句话是第一定律——能量守恒。第二句话是第二定律——熵增原理。翻译成大白话：宇宙正在不可逆转地走向越来越无序的状态。终有一天——在遥远得不可思议的未来——所有的星星都会烧完。所有的温差都会消失。宇宙变成一锅均匀的温汤。什么都没有再发生。永远。
热寂。
这就是”熵”的第一个含义：衡量一个系统离”彻底的无序”有多近。
二、1877：玻尔兹曼用一个公式解释了”为什么时间有方向”
克劳修斯定义了熵。但他没有解释熵的本质是什么。
这是一个德国人的工作。但做这个工作的——是奥地利人。
路德维希·玻尔兹曼。1844年生于维也纳。物理学的浪漫主义者。一个相信原子真实存在的人——在大多数物理学家还不相信原子的年代。
（ps：19世纪末的物理学界有一个奇怪的阵营：“唯能论者”——以恩斯特·马赫为首——认为原子只是方便的数学虚构，不是真实存在的物理实体。玻尔兹曼是原子论最坚决的捍卫者。他对抗的是当时德语物理学界的权威——不只是马赫，还有奥斯特瓦尔德、赫尔姆霍兹的学生们。这场争论不是科学争论。是信仰战争。）
玻尔兹曼在1877年发表了一篇论文：《论热力学第二定律与概率计算之间的关系》。
他问了一个克劳修斯从未问过的问题：为什么熵会增加？
他的答案是概率性的：因为”无序”的状态比”有序”的状态多得多。系统自然地向更可能的状态演化。
想象一个盒子。里面有气体分子。你把分子全部挤在左半边——这是一种”有序的”、低熵的状态。你打开隔板。分子开始扩散。最终均匀分布在左右两半边。
从物理定律的角度——每一个分子可以向左也可以向右。理论上，某一刻所有分子重新聚集到左边是完全可能的。时间反演的可逆性没有破坏。
但概率上——永远不可能发生。 因为”所有分子都在左边”是一个状态。“分子均匀分布”是一万亿亿亿亿亿亿个状态。那个唯一的”有序状态”被概率的海洋淹没了。
熵——是状态数量的对数。
S = k · log W
其中W是”微观状态数”——在给定的宏观条件下，系统可以以多少种不同的方式排列它的构成粒子。k是玻尔兹曼常数。
（ps：这可能是人类所有公式中最深刻的一个。它建立了一个桥梁——从微观的分子运动、到宏观的热力学定律。熵不再是克劳修斯定义的模糊的”转变含量”，而是一个精确的、可计算的物理量：系统可能存在的排列方式的对数。这不是在描述物质。这是在描述信息。）
玻尔兹曼没有活到看见自己的胜利。
他一生都在和唯能论者战斗。马赫的追随者在学术会议上公开嘲讽他。他在维也纳大学的课堂上被学生起哄。
1906年9月5日。在意大利杜伊诺——亚得里亚海边的一个小镇——玻尔兹曼趁妻子和女儿去游泳的时候，在旅馆房间里用窗帘绳自缢身亡。
他死后不久。佩兰的实验证实了原子的存在。统计力学成为物理学的核心。
他的墓碑上刻着：S = k · log W。
（ps：在玻尔兹曼公式中，W代表”可能状态的数目”。信息论的先驱——特别是冯·诺依曼——后来指出，这正是”信息”的数学基础。一个系统可能的状态越多，你对它实际处于哪个状态就越”不确定”。玻尔兹曼没有用”信息”这个词。但他已经迈出了关键的一步：熵是关于”不知道”的量。）
三、1948：香农为什么要用同一个词？
1948年。贝尔实验室。
32岁的克劳德·香农正在写一篇改变世界的论文。
他需要给论文里最重要的那个量起一个名字。
这个量是这样的：H = -Σ p_i log p_i。
p_i是第i个可能结果的概率。H是所有p_i乘以log p_i的加权和——然后取负号。
这个量衡量什么？香农自己说：信息、选择、不确定性。 一个消息源——如果它总是发出同样的信号（p=1，其他都是0），H=0，你没有获得任何信息（你早就知道它会发什么）。如果它有N个等可能的输出——H取到最大值——你完全不知道下一个信号会是什么。
（ps：这就是为什么WiFi密码是随机的而不是”password123”。密码的熵越高，你猜中它的不确定性越大——它包含的”信息量”越多。反过来——“password123”的熵极低：因为它太常见了，你几乎确定下一个用户会用它。低熵 = 可预测。高熵 = 惊讶。）
香农需要为H起名。他考虑了”信息”和”不确定性”。
约翰·冯·诺依曼——是的，又是他——建议：“就叫它熵吧。有两点好处。第一，你要用的这个东西在统计力学里本来就叫熵。第二——更重要的是——没有人真正知道熵是什么。在争论中你永远占优势。”
（ps：这个建议有可能是冯·诺依曼最实用主义的时刻。他不仅理解统计力学（他的《量子力学数学基础》里熵是核心概念），而且理解学术政治。给一个概念起一个模糊的名字——没有人知道它确切意味着什么——在日后的争论中你不会被束缚在任何一个具体的定义上。冯·诺依曼大概不知道：他这一句话，导致AI领域的每一篇论文都用一个没人能完全用大白话解释的词来命名它们的核心误差函数。）
香农采纳了。H被命名为”信息熵”。
但香农的论文里还定义了另一个量——后来对AI产生了更直接的影响。
交叉熵：H(p, q) = -Σ p(x) log q(x)。
p是”真实分布”。q是”模型预测的分布”。
翻译成人话：交叉熵衡量——如果你用错误的概率分布q去预测正确的概率分布p——你平均会多”惊讶”多少。
香农开创了信息论。这是一个关于通信的数学理论——信号、噪音、信道容量、编码效率。他从未想过他定义的”交叉熵”会成为2026年最昂贵芯片上每秒计算数十亿次的量。
四、2026：交叉熵是AI宇宙中唯一的”计分板”
现在。回到AI。
任何一个大语言模型——训练时做的唯一一件事，就是把交叉熵变小。
交叉熵H(p,q) = -Σ p(x) log q(x)。
p是训练数据中的真实下一个Token（“下一个词是’Queen’“——概率为1的那个）。
q是模型预测的下一个Token分布（“17%概率是Queen，12%概率是King，8%是Bishop……”）。
模型越准，交叉熵越小。完美准确→交叉熵=0。完全瞎猜→交叉熵=log（词汇量）。
这等价于三件不同的事（从三个不同的数学框架看——但它们给出一模一样的数字）：
- 信息论视角：最小化交叉熵 = 最小化模型”惊讶的程度”
- 统计视角：最小化交叉熵 = 最大化似然（MLE）——最符合数据的参数是最优的
- 几何视角：最小化交叉熵 = 最小化KL散度——让模型的概率分布接近真实分布
（ps：这个三重等价性是AI训练最深刻的数学事实之一。你不需要选择框架——不管你从哪个角度来设计损失函数，你最终都会得到同一个东西。交叉熵是唯一的答案。这不是某个人”发明”的。这是数学结构的必然。）
困惑度（Perplexity, PPL）——语言模型的标准评测指标——就是交叉熵的指数：
PPL = exp(交叉熵)。
困惑度=20，意味着模型在每次预测时，就像在20个选项中随机猜一样”困惑”。困惑度越低，模型越好。GPT-4的困惑度比GPT-3低。GPT-5的比GPT-4低。整个大模型行业的”进步”，在数学上可以精确地归结为一个数字：困惑度在下降。
每一天。每一块H100 GPU。每一轮训练。模型输出一个预测。交叉熵告诉你它预测得有多好。AdamW用梯度下降让交叉熵变得更小。循环。循环。循环。
熵。交叉熵。困惑度。
克劳修斯1865年的热力学。玻尔兹曼1877年的统计力学。香农1948年的信息论。
汇成一行PyTorch代码：
loss = F.cross_entropy(logits, targets)五、一条公式的四种生命
克劳修斯造了”熵”——为了理解蒸汽机为什么有效率上限。
玻尔兹曼重新定义了熵——S = k log W——证明了第二定律是宇宙级的统计现象。然后他自杀了。
香农造了”信息熵”——H = -Σ p log p——为了理解电话信道的容量。冯·诺依曼告诉他：“就叫它熵吧，在争论中你永远占优势。”
八十年后。AI研究员写的每一行训练代码里，交叉熵都是唯一的损失函数。
从蒸汽机——到分子——到电话线——到AI。
一个概念跑了180年。四代物理学家和数学家。四种完全不同的语境。同一个数学形式。
玻尔兹曼的墓碑上刻着S = k log W。他不知道的是——不到半个世纪后，另一个天才把这个公式里的log换成了log₂，前面加了一个负号和一个求和符号——然后把这叫做”熵”。又过了八十年——地球上一半的GPU都在算这个式的变体：H(p,q) = -Σ p log q。蒸汽机、分子、电话线、ChatGPT。熵一直在那里。衡量着世界的不确定性。
下一篇预告：《AI的数学血脉｜香农、图灵与维纳：三个天才的交错》——1943年，贝尔实验室的下午茶。三个人聊了什么？机器能否思考。八十年后，机器不仅能思考，还能和你喝完茶聊一整个下午。