多伦多的孤独先知:一个被骂了三十年”骗子”的人,如何成为AI教父
原创出品 | 龙鹰镖局
有一个英国男孩,出生在一个几乎不可能的家族里。
他的曾曾祖父发明了现代计算机的数学基础。他曾曾祖母的外科医生父亲写过《自然史》教科书。他爷爷发现了第四维度——比爱因斯坦还早。他姑姑参加了曼哈顿计划,造出了原子弹,然后放弃一切去了中国养奶牛。他父亲是英国皇家学会院士。他叔叔发明了”国民生产总值”这个概念。
这个男孩的母亲在他小时候只告诉他一件事——
“要么当学者,要么当失败者。”
他听了。然后他用大半辈子在做一个全世界都告诉他”不可能成功”的东西。他被导师每周骂一次。被同行当成江湖骗子。被学术会议拒稿。被投资人绕着走。
三十年后。他拿了图灵奖。又过了六年。他拿了诺贝尔物理学奖。
他是杰弗里·辛顿。
这是整个AI群星闪耀时系列里,最安静的一篇。因为辛顿的故事不是关于”天才的灵光一闪”——是关于一个人如何在所有人都说”你错了”的时候,继续相信自己是正确的。 用了整整三十年。
一、布尔的幽灵
1970年。剑桥大学。
一个22岁的年轻人终于拿到了实验心理学的学士学位——经过五年的专业横跳。他先后学了自然科学、艺术史、哲学——全部半途而废。他的同学们都在往前走。他去了伦敦,当了一年木匠。
做书架、木门、桌子。每天回家,脑子里在想一件事:大脑到底是怎么工作的。
(ps:在剑桥的时候,有一次他去听一个神经生理学的讲座。讲者说:大脑中的神经元网络是通过改变连接强度来学习的。辛顿问了一个问题——“那我们为什么不能用计算机来模拟这个过程?“整个教室安静了几秒。讲者说:“你没有理解。这不是一个计算问题。“辛顿心想:不,你不理解,这恰恰是一个计算问题。)
这个木匠的名字叫杰弗里·埃佛勒斯·辛顿。他的名字中间那个字——埃佛勒斯——取自他曾曾叔叔乔治·埃佛勒斯爵士,印度测绘局局长。珠穆朗玛峰的英文名,就来自这个人。
而他的曾曾祖父,叫乔治·布尔。
1847年,布尔出版了一本叫《逻辑的数学分析》的小册子。他在里面提出:所有逻辑推理都可以被转换成代数运算。真和假。1和0。与和或。一百年后,克劳德·香农(还记得他吗?第一篇里坐在达特茅斯旁边那位信息论之父)证明了:布尔代数可以用来设计电子电路。又一辈人后,整个计算机科学建立在这个基础上。
布尔发明了”如何让死物遵守逻辑”。他的玄孙花了五十年解决”如何让死物自己学会逻辑”。
这个家族的基因密度令人窒息。辛顿的曾祖父查尔斯·辛顿提出了”第四维度”——“tesseract”(宇宙魔方)这个词就是他造的。他的堂姐琼·辛顿(中文名寒春)是曼哈顿计划中极少数女性物理学家之一——费米的学生。原子弹爆炸后她彻底幻灭,在宋庆龄的安排下去了中国,从此在农场里养了一辈子奶牛。他的堂兄威廉·辛顿写了《翻身》——一本关于中国革命的名著。他的父亲霍华德·辛顿是皇家学会院士,世界上研究甲虫最权威的人,对儿子的要求近乎暴虐:“努力工作,也许当你到我两倍岁数的时候,能有我一半优秀。”
在这种家族里长大是什么感觉?辛顿用了三个字来总结——“像压力。”
(ps:想象一下。你在中学的生物课上正在学习”门纲目科属种”分类系统。你爸回家跟你说,那个分类系统里有一大类生物是他命名的。你的曾曾祖父的名字印在每一本计算机科学教材的第一章。你姑姑在卧室墙上挂着她和费米的合影。你不许失败。不是”不应该”——是不许。)
二、“再给我六个月”
1972年,辛顿进入爱丁堡大学攻读人工智能博士。他的导师是克里斯托弗·朗格特-希金斯——硼氢化物结构的发现者,差点因为这项工作拿了诺贝尔奖。
辛顿到爱丁堡的第一天,导师告诉他一个消息:他改方向了。
导师原来对神经网络感兴趣——就是辛顿想做的那个方向。但最近读了MIT教授明斯基(又见面了)和派珀特那篇《感知机》论文后,他彻底改变了想法。导师认为辛顿应该放弃神经网络,转向符号AI——那个被DARPA疯狂砸钱的主流方向。
辛顿说:“再给我六个月。我会证明它有效。”
六个月过去了。什么都没有证明。
辛顿说:“再给我六个月。”
又一个六个月。还是什么都没有。
这对师徒把这个对话重复了五年。 辛顿一遍一遍地说”再给我六个月”,导师一遍一遍地叹气。每周一次的指导课上,两人从讨论变成争论,从争论变成对吼。辛顿后来把那段博士岁月称为”风暴式的研究生生涯——每周我们都有一场大喊大叫的比赛。”
但导师是个好人。他从没真正阻止辛顿做神经网络。他只是不信。事实上,整个学界都不信。1972年正是神经网络的至暗时刻——明斯基的《感知机》出版三年后,整个领域的资金已经断流,研究者四散逃亡,学术期刊连”神经网络”四个字都见不得。
爱丁堡大学计算机系里的人看到辛顿走过走廊时,眼神里的意思清清楚楚——又一个浪费时间做伪科学的怪人。
但辛顿有一个他们没有的东西。他有一个布尔在他血液里埋下的、说不清道不明的信念——智能不是规则。智能是连接。 你不需要给机器写一千条”如果——那么——“。你只需要给它足够多的神经元和一种学习的方法。它自己会找到答案。
1978年。博士毕业。他离开了英国,横渡大西洋,去寻找这个地球上还在相信这个信念的最后一批人。
三、北境的庇护所
辛顿在美国找到了他们。在加州大学圣地亚哥分校——PDP研究组(见第三篇)。他和鲁梅尔哈特、威廉姆斯一起发表了那篇改变了历史的Nature论文。反向传播被重新发现了。
但正当一切似乎走上正轨时——辛顿又做了让所有人觉得他疯了的事。
1987年。他辞去了卡内基梅隆大学的终身教职。
为什么?不是钱。不是学术。
是良心。
里根政府的中美洲政策让辛顿无法忍受。更重要的是——美国几乎所有的AI研究资金都来自国防部。DARPA。海军研究办公室。空军。在卡内基梅隆,辛顿发现自己的研究被军方以各种间接方式渗透。他签了一份合同之后才发现资金链条的终端是军事项目。他姑姑——那个造了原子弹然后悔恨终身去中国养牛的寒春——就站在他身后。像一个幽灵。
他带上妻子和两个从南美收养的孩子,搬去了加拿大。
多伦多大学。
在那个年代,多伦多大学不是任何一个严肃AI研究者会去的地方。那里没有DARPA的钱。没有硅谷的距离优势。冬天冷到能把睫毛冻住。
但有一个叫CIFAR的机构——加拿大高等研究院——给了他一份极其罕见的礼物:“长期、高风险、非功利性的基础研究资助。”
翻译成大白话就是——我们给你钱。不多。但持续。你不需要发表”可商业化”的成果。你不需要证明你的研究”对国家有用”。你不需要写年度KPI报告。你只需要坐在那里,做你觉得对的事情。想多久都可以。
(ps:读到这一段时,很难不暂停一下。2026年的今天,全球AI研究已经彻底沦为”发布产品→融资→再发布→再融资”的内卷战争。四年博士学位被压缩成了三个月的产品迭代周期。所有研究经费都绑着工业界的KPI。而三十年前,一个北欧国家边缘的科研基金,给了神经网络领域最后一个可以安静思考的人一张”免于生产”的通行证。 今天深度学习一切成就的血脉,都能追溯到那张通行证。这件事本身就是一个绝妙的讽刺:最伟大的技术革命,恰恰诞生于最不追求”技术革命产出”的研究环境。)
辛顿在多伦多扎下了根。他把自己的实验室变成了神经网络最后的据点。在这个没有人关心、没有人报道、没有投资人叩门的领域里,他安静地工作了二十年。
但安静不等于孤独。
他吸引了扬·勒昆(Yann LeCun)。吸引了约书亚·本吉奥(Yoshua Bengio)。吸引了伊利亚·苏茨克维尔(Ilya Sutskever)。吸引了亚历克斯·克里泽夫斯基(Alex Krizhevsky)。
他们自称为”深度学习黑手党”——一个半开玩笑的名字,但准确地描述了他们的处境。在主流AI顶会上,神经网络论文被系统性拒稿。他们于是互相审稿、共享代码、彼此打气。他们不是在”与全世界为敌”——他们是在全世界看不到的角落里,悄悄地积累着一场风暴。
四、2006:从寒冬里开出的第一朵花
到了2006年,情况没有太大改善。
神经网络领域已经经历了整整37年的边缘化。支持向量机(SVM)和贝叶斯网络是机器学习的宠儿——它们有优雅的数学、严谨的理论保障、漂亮的小样本性能。而神经网络?每次被提起来,人们想到的都是1980年代末那个”被证明不可行”的东西。
但在多伦多的一个机房里,辛顿和他的两个学生——Simon Osindero和Yee-Whye Teh——正在做一个当时没人认为可能成功的事情。
训练一个真正的深层网络。
不是一层的感知机。不是两层的小玩具。是三层隐藏层、170万个参数、每层都在自主学习的深层信念网络。
这里需要解释一下——之前的三十年里,深层网络面临的不只是一个”训练难”的问题。是一个本质性的数学困境。当你试图在深层的、密集连接的信念网络中进行推理时,会出现一个叫”explaining away”的致命效应——或者叫**“解释抵消”**。
打个比方: 如果你看到一个人同时打了喷嚏和流鼻涕,你会推断”他可能感冒了”。这两个症状互相印证。但在深层网络里,当你已经知道一个高层节点解释了低层节点的行为,其他高层节点就被”解释抵消”了——它们就变得不确定了。这种不确定性让推理变得在计算上不可能。
辛顿的方法是用一种叫**“互补先验”**的东西来抵消解释抵消。然后——一层一层地、贪婪地去学。先学第一层。固定第一层的权重。再学第二层。以此类推。最后——用一种叫”上下算法”的微调过程来联合优化整个网络。
结果:1.25%的错误率。
在MNIST手写数字数据集上——没有任何几何先验知识、没有特殊预处理——这个三层隐藏层的网络击败了当时世界上最好的支持向量机模型(1.4%)。
这篇论文发表在《神经计算》(Neural Computation)杂志2006年7月刊上。同时辛顿和Salakhutdinov在《科学》杂志上发表了另一篇论文——用类似方法做数据降维,效果远超主成分分析。
这个领域的人用了37年的时间,回答了明斯基1969年的终极质疑——“多层网络的训练不可行”。到2006年,辛顿终于给出了完整的答案。
(ps:这篇论文的标题没有任何戏剧性——“A Fast Learning Algorithm for Deep Belief Nets”。不是”革命”,不是”突破”,就是”一个快速学习算法”。但如果你读过第二篇和第三篇就会知道,这个标题隐藏的是:罗森布拉特证明了这个东西存在。明斯基说它不可能被训练。韦伯斯发明了算法但没人注意到。鲁梅尔哈特和辛顿证明了算法有用但网络还是不够深。然后辛顿花了二十年——一个人坐在多伦多的雪夜里——证明它可以一层一层地被建造。 这是AI史上最长的一条逻辑链。每一个环节都差一点就断了。每一个环节都有人放弃。只有辛顿,从1972年开始,在每一个环节上都说了同一句话——“再给我六个月。“)
五、那不是一夜成名,那是三十年的一夜
但2006年不是AlexNet(那是2012年的故事,我们在下一篇讲)。2006年的这篇论文没有登上新闻头条。没有投资人敲门。没有公司股价暴涨。
它做的是一件事:重新种下了一棵树。
在AI寒冬的冻土上,深度信念网络是第一棵发芽的树。它证明了深层网络值得被认真对待。它给了还在坚持的人一个可以指给别人看的证据——“你看,这个方向没有死。”
2006年之后,莱彻斯特·李(Yann LeCun)继续搞卷积网络。本吉奥继续搞概率模型。苏茨克维尔开始在辛顿的实验室里做研究生。克里泽夫斯基在角落里琢磨GPU能不能用来跑更深的网络。
他们在加速。但我们还看不到。
还要再过六年——到2012年——AlexNet才会炸裂整个世界。还要再过六年——到2018年——辛顿、勒昆和本吉奥才会一起站在台上领图灵奖。还要再过六年——到2024年——辛顿才会接到斯德哥尔摩的电话,被告知他和Hopfield因为”让机器学习成为可能的根本性发现与发明”获得了诺贝尔物理学奖。
当记者问起三十年前的那个决定——那个让所有同事都认为他疯了的、放弃终身教职搬去加拿大的决定——辛顿的表情没有任何波澜。
他说了什么呢?
他说:“基础研究就像长期主义投资。回报可能迟到,但从不缺席。”
他说这是他家族用两百年验证的真理。
尾声:那个木匠终于证明了
辛顿在多伦多大学的办公室里,书架上有一本《逻辑的数学分析》——布尔在1847年写的那本薄薄的小册子。那是他从家族遗产里继承的唯一学术传家宝。
书脊已经散了。
书页发黄。
但上面写的每一个等号都像是家族咒语变成了信仰——“真和假可以被写下来。1和0可以完成一切。连接足够多、足够深,石头也会开始思考。”
那个从剑桥退学去当木匠的男孩。那个在爱丁堡被导师每周骂一次的博士生。那个在加州被同行绕路走的博士后。那个放弃终身教职跑到加拿大苦寒之地的疯子。那个在一个没人相信的领域里安静工作了三十年、被无数人称为”江湖骗子”的人——
2006年,他在全世界看不见的角落里,写完了那条逻辑链的最后一环。
布尔1847年开始写它。罗森布拉特1957年续了它。明斯基1969年差点毁了它。辛顿1972年捡起了它。三十四年后——2006年——他把它放回了书架上。
然后他继续等着。因为树已经种下了。
原创出品:龙鹰镖局
「AI群星闪耀时」系列 · 第五篇 上一篇:第四篇 · 1997,深蓝vs卡斯帕罗夫——不是机器赢了,是恐惧赢了 下一篇预告:2012,ImageNet时刻——两个学生、两张游戏显卡、一张Excel表格。AI世界永远分成了两个纪元
参考资料:Hinton, Osindero & Teh, “A Fast Learning Algorithm for Deep Belief Nets”, Neural Computation (2006); Hinton & Salakhutdinov, “Reducing the Dimensionality of Data with Neural Networks”, Science (2006); Wikipedia Geoffrey Hinton; 36氪/钛媒体/腾讯新闻/财新中文深度报道; CIFAR档案等