AI的数学血脉｜1943年，贝尔实验室的下午茶。他们聊了”机器能否思考”。
1943年。纽约。西街463号。贝尔实验室总部。
每天下午，主楼的咖啡厅里都有一个年轻人独自喝茶。瘦削。深色头发。说话的声音带着英国公学的尾音。他的美国同事觉得他古怪——不合群，有时穿着防毒面罩骑自行车，跑步时腰上挂着闹钟。
他叫艾伦·图灵。
英国政府派他来美国做密码学联络。全世界最强的密码破译员，刚从布莱切利园出来——他主导了破解纳粹恩尼格玛密码的数学工作。但现在他不能告诉任何人。那些是最高机密。三十年后才能解密。
在咖啡厅里，他认识了另一个常独自喝茶的人。
克劳德·香农。贝尔实验室的研究员。瘦高。安静。笑起来像一只猫。香农的同事知道他有一些”不太正经”的爱好——骑独轮车、玩杂耍、制造会走迷宫的机器老鼠。
他们聊了什么呢？后来香农回忆：
“我们确实经常见面。他——图灵——对’大脑可以怎样被机械地制造’非常感兴趣。我也是。我们聊了很多这个。还聊了聊下棋机器。”
（ps：这是AI史前史中最浪漫的一个画面。1943年。世界大战还没有结束。两个30岁出头的人——两种不同类型的数学天才——坐在贝尔实验室的咖啡厅里。他们不能谈论各自正在做的真正工作：香农在为军方做加密系统，图灵在为军方做解密系统。所以他们谈论的是：机器能否思考。 这不是他们各自工作中的”正事”。这是他们藏在大脑最深处的、真正让他们激动的问题。而他们的上司——在隔壁房间里为战争焦虑——不知道这两个人在咖啡厅里正讨论着将在八十年后改变人类文明的问题。）
一、三个天才，在同一个时代思考同一件事
1940年代是一个奇怪的年份。
欧洲在燃烧。太平洋在燃烧。但在这个世界被撕裂的同时——三个来自完全不同背景的天才，几乎同时在思考同一个问题：信息、计算和智能之间的关系。
第一个人是香农。
第二个人是图灵。
第三个人——不在贝尔实验室的咖啡厅里，但在MIT的走廊上——是一个49岁的数学教授。秃头。大胡子。神童出身。18岁从哈佛拿到博士学位。他叫诺伯特·维纳。
维纳也在思考同一个问题。他不是从数学出发的。他是从生物学出发的。
二、香农：把”信息”从直觉炼成数学
1948年。两次世界大战之间的所有技术积累到了一个临界点。电话网络遍布全美。无线电广播覆盖全球。但没有人知道”信息”到底是什么。
一条消息——“明天会下雨”——和”明天会晴天”——哪一条包含更多的”信息”？你能量出来吗？
香农的答案是：能。
如果明天肯定会下雨（概率100%），“明天会下雨”没有传递任何信息——你已经知道答案。
如果明天有50%的概率下雨、50%的概率晴天——“明天会下雨”才真正传递了信息。它排除了另一种可能。
香农把这种直觉变成了精确的数学：
H = -Σ p_i log p_i。信息熵。
（ps：这个公式在第10篇详细讲过。这里只需要记住：它衡量的是”不确定性”。信息=消除的不确定性。一条消息的价值=你收到它之后，世界变得”更确定”了多少。）
香农的论文《通信的数学理论》于1948年发表在《贝尔系统技术杂志》上。它定义了信息、信道容量、编码效率。它证明了：只要信号速率不超过信道容量，就一定存在一种编码方式，让信息零误差地通过噪声信道传输。
这篇论文奠基了整个数字时代。没有它，就没有MP3、JPEG、WiFi、手机、互联网。它奠定了所有现代通信的理论基础。
（ps：香农在论文中感谢了维纳——“通信理论在很大程度上要归功于维纳的基础哲学和理论。“维纳反过来感谢香农——“这个年轻人独立发现了熵在信息中的意义。“两个天才没有为了优先权争吵。没有皇家学会委员会。没有1712年的那种闹剧。这让在这个系列里读过了牛顿vs莱布尼茨的人，多少有点不习惯。）
三、图灵：定义”什么是计算”，然后问”机器能否思考”
图灵比香农大四岁。
1936年——香农还在读硕士的时候——24岁的图灵就已经做了一件改变世界的事。他发表了一篇论文：《论可计算数及其在判定问题上的应用》。
这篇论文定义了一样后来被称为”图灵机”的东西：一条无限长的纸带。一个读写头。一套有限的状态规则。任何可以被”计算”的东西——无论多复杂——图灵机都能算。
（ps：图灵机不是一个物理机器。它是一个数学定义。它告诉人类：如果你能在一段有限的时间内、用有限步操作算出一个结果——那么一定存在一台图灵机可以算它。 反过来——如果没有任何图灵机能算它——那么它”不可计算”。图灵由此证明了不可计算问题的存在。这在数学史上是一个堪比哥德尔不完备定理的突破。）
二战期间，图灵成了全世界最天才的密码破译者。他在布莱切利园设计的Bombe机器——基于波兰数学家的早期工作——解开了纳粹德国海军恩尼格玛密码。历史学家估计：这项工作将二战缩短了至少两年，拯救了数百万人的生命。
战后。1948年。他搬到了曼彻斯特大学。参与了世界上最早的存储程序计算机之一——Mark 1——的设计。
1950年。他发表了第二篇改变世界的论文：《计算机器与智能》。发表在哲学期刊Mind上。
开篇第一句：
“我提议考虑这个问题：机器能思考吗？”
他设计了”模仿游戏”——后来被称为图灵测试：如果一个人类审问者无法通过对话区分一个人和一台机器，那么这台机器可以被认为具有智能。
他预测：到2000年，拥有约10⁹存储容量的计算机将能够在5分钟的对话后以超过70%的概率通过测试。
（ps：我们还没完全通过图灵测试。但ChatGPT已经足够接近——在2024年的一项严格测试中，GPT-4在54%的情况下被误认为是人类。图灵的预测偏乐观了大约二十年。但对于一个在1950年、计算机还是满屋子真空管、存储容量以千字节计的时代做出的预测——这已经惊人地准确了。）
四、维纳：在机器和动物之间建立桥梁
诺伯特·维纳比香农大22岁，比图灵大18岁。他在1948年做了一件不同的事。
二战期间，维纳在研究防空火力控制。高射炮需要预测敌机的飞行路径。这不是一个纯粹的物理问题——因为飞行员会做出规避动作。这是一个预测”人”的问题。
维纳的洞察：防空炮手、敌机飞行员、火控系统——这是一个反馈回路。 机器和人类在同一个回路中工作。你测量差距，调整瞄准，再测量差距，再调整。这正是”反馈”的核心逻辑。
战后，他把这个思想推到了极致。
1948年。他出版了《控制论：或关于在动物和机器中控制和通信的科学》。
Cybernetics。 来自希腊语 κυβερνήτης——“舵手”。一个操纵船舵的人——接收风浪的信息，调整方向，再接收新的信息，再调整。这就是反馈。
（ps：维纳认为”反馈”是理解一切智能行为的关键——不仅仅是机器的、也不仅仅是人类的，而是两者的共通逻辑。恒温器感知温度并调整加热——这就是反馈。人的手伸向一个杯子——大脑不断接收”离杯子有多远”的信息并调整肌肉——这也是反馈。维纳相信：智能不是某种神秘的思维物质，而是信息处理和反馈控制的一种模式。 这个观点深刻地影响了后来的人工智能——尤其是强化学习。AlphaGo的自我对弈——每一步评估当前棋盘、然后调整策略——在逻辑上和维纳的”舵手”完全一致。）
维纳的《控制论》和香农的《通信的数学理论》——1948年同一年出版。 这不是巧合。这是两个人在同一个时代、被同一场战争、同一批技术问题推到同一条思路上。
香农提供了”信息”的数学定义。维纳提供了”反馈”的哲学框架。图灵提供了”计算”的严格边界和”智能”的测试标准。
三条思想河流。在同一个时代汇合。
五、三条河流最终流入了同一片海
这三个人的轨迹在1940年代短暂地交汇。然后各自分开。图灵死于1954年。维纳死于1964年。香农活到了2001年——他看到了互联网的诞生，看到了计算机从真空管变成硅芯片，看到了信息论从一篇BTJ论文变成一个行业的基础。
他们都看不到的是：
2026年。地球上最强大的AI系统——ChatGPT、Claude——在它们的最底层，同时运行着这三个人的思想：
香农的信息论：交叉熵损失函数衡量模型有多”惊讶”。困惑度衡量模型有多”不确定”。KL散度约束模型不要忘记已学到的知识。
图灵的计算理论：Transformer是一种图灵完备的架构。自回归语言模型就是在离散状态空间中的计算过程。2024年的论文证明了：“任何自回归语言模型都可以被严格表示为一个马尔可夫链上的计算。”
维纳的反馈控制：RLHF——人类反馈强化学习——让模型通过”输出→人类打分→调整策略→再输出”的循环来学习人类的偏好。这正是维纳描述的反馈回路：舵手。风浪。调整方向。再风浪。再调整。
六、卡在咖啡厅里的未来
1943年。贝尔实验室。下午茶。
香农问图灵：你觉得机器能思考吗？
图灵可能给出了一个长长的回答。香农后来说他们聊了”很多”。但他们能聊的有限——两人各自掌握的最高机密不能交流。
图灵不可能告诉香农：我刚研发了一台机器，每秒能测试数万种密码组合。纳粹海军的U艇通讯密码——我破了。
香农不可能告诉图灵：我正在构建一套理论。把”信息”变成概率的数学。你们的密码系统——如果它不安全，我的理论可以精确量化”为什么不安全”。
所以他们在咖啡厅里聊的是——机器下棋。机器能否像大脑一样运作。智能的本质。
这些问题，在当时是纯属哲学的闲聊。
八十年后。地球上有一半的GPU在算香农的交叉熵。地球上的每一个搜索都在用图灵的图灵机理论（PageRank=图灵机上运行的马尔可夫链）。每一个对齐过的AI模型都在维纳的反馈回路中循环。
1952年。图灵因同性恋被英国政府定罪。他选择了化学阉割而非入狱——为了能继续工作。1954年6月7日。他在曼彻斯特的家中咬下一口蘸了氰化物的苹果。41岁。香农活到了84岁，看着世界被他的信息论重新定义。维纳早逝于1964年——心脏病突发，享年69岁。三个人的命运各不相同。但他们在1943年贝尔实验室咖啡厅里讨论的那个问题——“机器能思考吗”——八十年后，机器给出了一版回答：不只是思考。它还能和你喝完茶聊一整个下午。
下一篇预告：《AI的数学血脉｜KL散度：两个概率世界之间的桥梁》——第四辑收官篇。1951年两个密码学家定义了一个不对称的距离。70年后，它成了RLHF和DPO的核心约束——让大模型学会人类的偏好，同时不”遗忘”已经学会的一切。