反向传播的复仇：一个被遗忘12年的算法，一群地下党，和神经网络的复活
原创出品 | 龙鹰镖局
1974年。哈佛大学。一个叫保罗·韦伯斯（Paul Werbos）的博士生正在写一篇没人想看的论文。
论文名字长到令人窒息——《超越回归：行为科学中的预测与分析新工具》。他在里面描述了一种算法：让多层神经网络的误差从输出层反向流动，逐层修正每个神经元的权重。
韦伯斯觉得这很厉害。他交了论文。答辩通过。
然后——没有任何人注意到。
他的导师没注意到。同行没注意到。整个AI学界都没注意到。这篇博士论文躺在哈佛大学图书馆的书架上积了十二年的灰。
而里面的那个算法——反向传播（Backpropagation）——将成为后来一切深度学习的基础。ChatGPT身上流的数学血脉，能一路回溯到这个1974年被全世界忽略的哈佛博士生。
1986年。它复活了。
这是一篇关于复活的故事。关于一个被遗忘的算法，一群在地下室里坚持了十七年的人，和一个曾经被宣判死刑的领域，如何重新站了起来。
一、那些在寒冬里苟活的人
先穿越回1969年。
明斯基和派珀特的《感知机》刚刚出版。258页的数学证明，给神经网络判了”死刑”。（ps：见本系列第二篇。）DARPA把钱全转给了符号AI。大学不再招神经网络方向的教员。学术会议拒收一切相关论文。导师对研究生说：“别碰那个方向——那是死路。”
罗森布拉特死了。皮茨死了。麦卡洛克死了。最早的三位神经网络研究者，在同一年或稍后相继离世。整个领域一夜之间变成鬼城。
但——鬼城里还有活人。
不是很多。一只手能数过来。他们在学术界的边缘地带游荡，不在聚光灯下，没有人关心。他们拿不到经费。发表不了论文。在主流AI研究者眼里，他们是”搞伪科学的怪人”。
其中有一个英国人，叫杰弗里·辛顿（Geoffrey Hinton）。
辛顿在1972年进入爱丁堡大学读AI博士。他的方向是——神经网络。他的导师每天劝他换方向。系里的同事用看”炼金术士”的眼神看他。辛顿后来说过一句话，总结了他整个1970年代：
“每次我说我在研究神经网络，对方的表情就像我说我信占星术。”
但他没有转行。他自己也不知道为什么。可能因为他信。
1978年拿到博士后，辛顿在英国找不到任何能在神经网络方向生存的学术职位。他打听了一圈——全世界只有少数几个地方还容忍这种研究。
其中一个是加州大学圣地亚哥分校（UCSD）。那里有一个小组。一群心理学家、计算机科学家和认知科学家，在研究一种叫”并行分布式处理”（PDP）的东西。
（ps：你注意到他们叫这个”PDP”而不叫”神经网络”了吗？这不是学究的咬文嚼字。这是一种生存策略。DARPA的拨款官看到”neural network”就会条件反射式地画叉。看到”parallel distributed processing”——他们不确定这到底是什么，但听起来不是神经网络，也许值得投一点。这种”挂羊头卖狗肉”的战术，保护了这个领域最后的火种。）
辛顿去了UCSD。
在拉霍亚的阳光下，他和一群同样”流亡”的研究者聚在一起。他们开会。他们争论。他们在计算机上跑那些小得可怜的神经网络实验。没有GPU。没有大数据。一台计算机要跑好几天才能训练一个能在10×10像素格上判断”左边亮还是右边亮”的网络。
但他们相信一件事——他们相信明斯基说错了。
二、一份被全世界忽略的博士论文
在辛顿和他的PDP战友们在UCSD秘密集会的时候，有一份已经存在了十年的博士论文，静静地躺在哈佛图书馆里，从来没有人翻开过。
保罗·韦伯斯，1974年，哈佛大学经济学和社会政策方向。
韦伯斯不是计算机科学家。他是做政策建模的。他的博士论文主题是用数学工具来预测和分析社会行为。在这个过程中，他偶然发现了一种训练多层网络的方法：把输出误差沿网络逐层反向传播，用链式法则更新每一层的权重。
他把它叫”有序导数”（ordered derivatives）——本质上就是今天每一个深度学习框架里跑的反向传播算法。
但韦伯斯的悲剧在于：他在错误的时间、错误的领域、用错误的名字发表了这个算法。
- 错误的时间：1974年，神经网络是学术毒药。没人想读任何跟神经网络有关的东西。
- 错误的领域：他发表在经济学/社会政策领域，不在AI主流期刊上。AI研究者根本没机会看到。
- 错误的名字：“有序导数”——一个让人昏昏欲睡的名字。不像”反向传播”那么直观、那么好记。
他的论文被全世界忽略了。十二年后——他的故事才被人重新发现。但那时已经太晚了。一个叫Rumelhart的心理学家、一个叫Hinton的叛道者、和一个叫Williams的计算机科学家——重新发表了同样的想法。而这一次，全世界在听。
三、“我们证明了，它可以学习”
1986年10月9日。《自然》杂志。
一篇五页的论文。三位作者：David Rumelhart（UCSD），Geoffrey Hinton（卡内基梅隆），Ronald Williams（UCSD）。
题目简单直接：《通过反向传播误差来学习》。
论文开篇的几句话现在读起来轻描淡写到几乎反高潮——但在当时的AI界，每一句都是一枚炸弹：
“我们描述一种新的学习过程——反向传播——用于类神经元网络。该过程反复调整网络中的连接权重，以最小化实际输出与期望输出之间的差异。结果是，那些不属于输入也不属于输出的内部’隐藏’单元，开始自己学会表示任务域的重要特征。”
你看懂这段话在说什么吗？
隐藏单元。自己学会。
1969年明斯基和派珀特说：多层网络的训练是不可行的。隐藏单元怎么学？谁来告诉它们学什么？这个问题无法解决。
1986年，Rumelhart、Hinton和Williams说：不需要任何人事先告诉隐藏单元该学什么。它们自己会学会。
这就是反向传播的真正力量——不是解决了XOR（那太简单了）。不是训练了一个小网络（1974年韦伯斯就能做）。而是证明了：内部的、隐藏的表示可以被自动学习。
论文里演示了两个任务：
- 对称性检测：网络只用2个隐藏单元，自己学会了判断一维输入阵列是否关于中心对称——这是一个单层感知机无法解决但多层网络可以轻松解决的问题。
- 家族树：在一个训练了100个三元组的网络上，隐藏单元自动学会了表示”代际关系”和”国籍”——没有人告诉它们该学这个。它们自己发现的。
（ps：这是AI史上最让人头皮发麻的实验之一。那些隐藏单元发展出的”感受野”——它们对哪些输入模式敏感，哪些不敏感——不是被设定的，是被”发现”的。反向传播在亿万次权重更新中，自己找到了最优的内部表示。这是机器第一次”自己理解”了世界的一个侧面。）
论文发表在《自然》上——《自然》！不是某个边缘的AI会议论文集。是全科学界最权威的期刊。这意味着：神经网络不再是边缘人的自言自语。它进入了主流科学的视野。
四、地下党的胜利
《自然》论文只是冰山一角。
1986年，MIT出版社出版了两卷本的《并行分布式处理：认知微观结构探索》（PDP）。这套书被后来的研究者称为”连接主义的圣经”。
第一卷《基础》的第八章就是那篇反向传播论文。但整本书的内容远不止于此——它在对明斯基的《感知机》做出系统性的回击。不是吵架。不是羞辱。是用更厚的书、更深的数学、更好的实验，证明那个在1969年被杀死的领域——还活着。
PDP作者名单的华丽程度在整个AI史上都是罕见的：Rumelhart, McClelland, Hinton, Williams, Sejnowski, Smolensky……甚至还有弗朗西斯·克里克（Francis Crick）——是的，那个和沃森一起发现DNA双螺旋结构的克里克。一个诺贝尔奖得主，愉快地和一群”学术边缘人”混在一起，讨论神经元和隐藏层。
（ps：克里克晚年对意识研究产生了浓厚兴趣。他认为神经网络——而非符号AI——才是理解大脑的正确路径。一个DNA的发现者站在了神经网络这一边。你能想象明斯基读PDP时看到克里克的署名时是什么表情吗？）
而现在回头看PDP的历史位置——它是AI史上最成功的学术反击战。
它不是一篇论文。不是一个人。不是一个实验室。它是一个运动。PDP小组自称为”连接主义”（connectionism）——这个名字选得极其精准。它不是”神经网络”——那个词已经被明斯基污染了。它是”连接主义”——新的旗帜、新的叙事、新的起点。
从1969年到1986年：17年。
17年。一个人从婴儿长到成年。一个领域从死亡到复活。一本258页的判决书，被一套更厚的两卷本推翻了。
五、一个幽灵在反向传播中游荡
但历史从来不是干净的。反向传播的故事里有一个幽灵——保罗·韦伯斯。
Rumelhart、Hinton和Williams的1986年论文没有引用韦伯斯1974年的博士论文。他们在致谢中提到了David Parker和Yann LeCun的独立发现——但没有提韦伯斯。
这件事日后引起了很大争议。批评者说这是学术不端——你用了别人的算法，不引用别人的论文。辩护者说Rumelhart等人确实不知道韦伯斯的工作——那篇论文发表在错误领域的错误期刊上，而且PDP小组重新推导了整个数学框架，他们的贡献在于证明了反向传播可以真正工作。
真相可能介于两者之间： 反向传播不是一个被”发明”的算法——数学上的链式法则从莱布尼茨时代就存在。但把它成功地、系统地、可重复地应用到多层神经网络的训练中——这才是1986年的真正贡献。
韦伯斯后来多次为自己正名。1994年他出版了一本回顾性的专著——《反向传播的根源》。在书中他平静地写道：反向传播不仅是一个算法——它是一种通用学习系统的开始。图像分类只是第一步。未来的机器将用它来理解世界、建模政策、控制机器人。
1974年写下这句话的人，被忽略了二十年。
但他说对了。
六、十七年
1969年，《感知机》出版。神经网络死亡。
1986年，反向传播回到世界。神经网络复活。
十七年。
在这十七年里，发生了很多事：DARPA在1980年代初对符号AI也失望了——专家系统被证明无法扩展到复杂现实问题。日本的”第五代计算机”项目轰轰烈烈启动然后悄悄消失。整个AI领域在1980年代中期经历了所谓的”第二次AI寒冬”。
但这一次，神经网络没有死。
因为这一次，它手上有一件1969年没有的东西——反向传播。
有了反向传播，多层网络可以被训练。有了可以被训练的多层网络，XOR不值一提。有了XOR被解决的数学事实，明斯基的判决书就变成了一张废纸。
1988年，明斯基和派珀特重印了《感知机》。他们加了两章——序言和结语。在序言中他们写道：“自从1969年第一版以来，几乎没有发生什么重大变化。”
（ps：你知道这句话后来被引用多少次吗？不是作为”深刻的洞察”，而是作为”史上最著名的AI学术误判”的标志性语录。2012年AlexNet碾压ImageNet时，人们引用它。2016年AlphaGo击败李世石时，人们引用它。2022年ChatGPT问世时，人们引用它。1988年的明斯基，把自己活成了AI史上最顽固的”反面教材”。）
但1986年的人们不在乎明斯基说什么了。因为反向传播已经开始改变一切。
1989年，Yann LeCun在贝尔实验室应用反向传播训练了第一个实用的卷积神经网络——LeNet，能识别手写邮政编码。美国邮政服务署在全国部署了它。这是深度学习第一次进入现实世界。
1990年代，反向传播继续扩散。循环神经网络（RNN）被发明。长短期记忆网络（LSTM）在1997年出现。算法在迭代。计算机在变快。数据在增长。
但真正的爆炸还在前方。 那是1990年代没有人能预见的未来——AlexNet（2012）、AlphaGo（2016）、Transformer（2017）、ChatGPT（2022）。
1986年的那篇五页Nature论文，拉响了所有这一切的引线。
七、写在1986年秋天
让我们回到1986年。加州的秋天。UCSD的办公室。
鲁梅尔哈特可能正在重读校样。辛顿可能正盯着打印机吐出来的实验曲线发呆。威廉姆斯可能正在黑板上写下一组偏微分方程。他们没有人知道接下来会发生什么。
他们知道的是这个：他们证明了一件事——明斯基1969年那句”多层网络的训练在计算上是不可行的”——是错的。
这不只是一篇论文的胜利。这是一个领域的复活。
在明斯基1969年的判决之后，罗森布拉特没有活下来。皮茨没有活下来。麦卡洛克没有活下来。整整一代神经网络研究者，没能看到自己信仰的东西被证明。
而1986年——在拉霍亚的一片阳光里——反向传播的算法在计算机上安静地运行着。前向传播。计算误差。反向流动。更新权重。再来一次。再无数次。
那个曾经被判死刑的东西，睁开眼睛了。
它还很弱小。没有人知道它以后会变成什么。
但死人。已经开口说话了。
原创出品：龙鹰镖局
「AI群星闪耀时」系列 · 第三篇 上一篇：1969，弑父者明斯基——一本258页的数学书，如何杀死了一个领域，和他的高中同学 下一篇预告：1997，机器的最后一分钟——深蓝vs卡斯帕罗夫，人类被自己的恐惧打败
参考资料：Rumelhart, Hinton & Williams (1986); Werbos (1974, 1994); PDP Vol.1-2 (1986); Linnainmaa (1970); Minsky & Papert (1969, 1988); Schmidhuber深度学习编年史; Hopfield (1982) 等