ImageNet时刻：两张游戏显卡、一间卧室、和那个让AI世界劈成两半的秋天
原创出品 | 龙鹰镖局
2012年秋天。多伦多。一个研究生在他父母家的卧室里，盯着一台电脑。
电脑里插着两块英伟达GTX 580显卡——不是企业级GPU。就是你在百思买花500美元能买到的那种，给游戏玩家跑《孤岛危机》用的消费级显卡。
屏幕上，一个深度卷积神经网络正在被训练。120万张图片。1000个类别。60,000,000个参数。它已经跑了五天五夜了。显卡风扇在全速轰鸣。卧室在十月末的凉意里像个桑拿房。
这个研究生叫亚历克斯·克里泽夫斯基（Alex Krizhevsky）。坐在他旁边的人叫伊利亚·苏茨克维尔（Ilya Sutskever）。他们的导师——你已经认识他了——叫杰弗里·辛顿。
几天后，这个在卧室里训练出来的网络提交了ImageNet竞赛的最终结果。第二名错误率：26.2%。这个网络：15.3%。
这不是一场胜利。这是一场屠杀。
在那之前，整个计算机视觉领域在用各种各样的”手工设计特征”——SIFT、HOG、Fisher向量。人类专家花好几年时间琢磨什么样的特征提取器能更好地描述图像。这是一门手艺，不是一门科学。
在那之后，没有人再手工设计特征了。
2012年9月30日。AI世界永远分成了两个纪元：AlexNet之前，和AlexNet之后。
一、那个叫ImageNet的女人
在讲AlexNet之前，需要先讲另一个故事。这个故事和GPU无关，和算法无关。但它和一件AI历史上最重要的事情有关——数据。
2006年。斯坦福大学。一个叫李飞飞的年轻助理教授做了一个所有人都认为她疯了的决定。
她要把英语里所有的名词都配上照片。不是几百张。不是几千张。是一万四千个类别，超过1400万张标注过的高分辨率图片。
这听起来像一个不可能完成的任务。她的同事们明确告诉她：这不叫科研，这叫浪费生命。
但李飞飞有一种很少见的固执——或者说远见。她相信，计算机视觉的真正瓶颈不在算法，而在数据。现有的数据集太小、太干净，无法代表真实世界。你不可能用一个在几百张白背景图片上训练出来的模型去识别现实世界的无穷复杂。
关键是——怎么标注1400万张图片？
答案：亚马逊土耳其机器人（Mechanical Turk）。一个众包平台。来自全世界几十个国家的数万名打零工的人，一张图一张图地看，然后回答：“这张图里有什么？“一分钱一分钱地积累。一页一页地叠加。
2009年，ImageNet完成了。它比之前任何图像数据集都大了好几个数量级。李飞飞把它公之于众——免费。任何人可以下载。任何人可以训练。
2010年，她发起了一个年度竞赛：ImageNet大规模视觉识别挑战赛（ILSVRC）。1000个类别，120万张训练图。目标：让计算机说出图片里有什么。
第一年。冠军错误率：28.2%。第二年。冠军错误率：25.7%。
进步缓慢。竞争者们用的是各种手工特征+传统机器学习模型——支持向量机、随机森林、特征袋。他们在一个一个百分点地抠。没有人在用神经网络。没有人相信神经网络。
但李飞飞的数据集就在那里。静悄悄地等着。等一个能用它的人。
二、GPU、卧室、和两个疯狂的博士生
回到多伦多。
2011年，辛顿在多伦多大学有一个问题要解决。他向全系发了一封邮件：“我要怎么做才能说服你们，神经网络是未来？”
（ps：一个60多岁的教授，在一个被主流学界嘲笑了30年的领域里坚守了一辈子，对着自己系里的同事问”我要怎么说服你们”——这句话的孤独感，你在上一篇里已经全部了解了。）
一位叫Jitendra Malik的计算机视觉学者回复他：去试试PASCAL VOC挑战赛。用实验结果说话。
辛顿看了看PASCAL的数据集——太小了。他说：不够。Malik说：那你去试试ImageNet。
辛顿从来没听说过ImageNet。
但他有两个博士生。一个是Alex Krizhevsky——一个乌克兰裔加拿大人，在GPU编程上有近乎偏执的天赋。他已经写了一个叫cuda-convnet的程序——能在一张GPU上训练卷积神经网络，用来跑一个叫CIFAR-10的小数据集。几十万张低分辨率图片。玩具级别的任务。但Alex把cuda-convnet的每一行CUDA代码都榨出了极限性能。
（ps：理解”Alex是GPU天才”这句话不需要你懂CUDA编程。你只需要知道一件事：几年后，Alex来到谷歌，发现谷歌的深度学习系统——Google Brain开发的那个叫DistBelief的平台——竟然跑在普通CPU上。于是Alex自己走去街角的电子商店，买了块GPU，插在公司走廊柜子里，连上网，开始训练网络。这就是”极客直觉”和”官僚系统”之间的真实差距。）
另一个是Ilya Sutskever——一个苏联出生的数学天才，在辛顿的实验室里以信仰坚定著称。他的核心信念：网络越大，数据越多，性能越好。 这不是一个被充分证明的假设。这是一个直觉。
2011年，Ilya找到Alex说：我们应该把cuda-convnet扩展到ImageNet上。
Alex说好。然后开始了长达一年多的马拉松。
训练在Alex的卧室里进行。 电脑是家用的。显卡是游戏级的。一个GTX 580只有3GB显存——放不下整个网络。于是Alex把网络劈成两半，放到两张卡上。前半部分在一张卡上跑，后半部分在另一张卡上跑。它们只在特定层之间通信——像一个双脑动物，两个半球独立运算，偶尔交换信息。
从2011年秋天到2012年秋天，Alex在卧室里反复调参。换层数。换激活函数。换正则化方法。跑一个实验要五六天。跑完看结果。不满意，改一行代码，重新跑。天花板上的风扇从秋天吹到春天，从春天吹回秋天。
他们用了三个关键技术创新：
ReLU激活函数。 传统的神经网络用sigmoid或tanh——梯度会在深层网络里消失。ReLU的数学简单到近乎粗鲁——负数全砍成零，正数保持不变。但它在深层网络中训练速度快了好几倍。
Dropout。 训练时随机”关掉”一半神经元，强迫网络学习冗余的、分布式的表示。这相当于让网络的大脑学会”我不依赖任何单一路径来思考”——它必须建立多条不同的推理通路。这是AI史上最优雅的正则化方法之一。
数据增强。 从256×256的图片中随机裁剪224×224的块，再做水平翻转。这相当于给每张原始图片制造了数千个”变体”——网络不会记住某一特定的像素排列，而是学会提取不那么容易被”平移”或”翻转”所欺骗的深层特征。
到了2012年9月，AlexNet已经训练完毕。它的最终形态：8层。60,000,000个参数。650,000个神经元。5个卷积层+3个全连接层。训练了90个epoch，用时5到6天。
他们给团队起了个名字：SuperVision。
提交了。
然后等待。
三、佛罗伦萨的秋天
2012年10月。意大利佛罗伦萨。欧洲计算机视觉会议（ECCV）。
Alex站上了演讲台。下面坐的是整个计算机视觉领域的大佬——那些花了几十年时间手工设计SIFT特征和Fisher向量的顶级学者。来听他讲那个由”GPU、游戏显卡、和一种叫神经网络的东西”组成的实验。
他的英语不流利。PPT不花哨。但屏幕上那个数字没人能忽视——
15.3% vs 26.2%。
（ps：这不是”我们好了一点点”。这是比第二名好了一整个时代。10.8个百分点的差距。第二名用的方法是：用几十种不同的手工特征密集采样，然后用一堆分类器集成。他们的论文里可能有几百个数学公式。AlexNet的论文里只有8层、两块显卡、和一句”我们只用了像素的原始RGB值，连预处理都几乎没有。“如果你研究计算机视觉研究了二十年——你会觉得被一辆卡车从身上碾过去了。）
演讲结束后，会议室里的气氛是沉默的。大多数资深计算机视觉研究者没有被说服。一个人工智能领域的老兵后来回忆道：“我不信。我做了二十年计算机视觉。我不相信一个在游戏显卡上跑出来的黑盒子能超过我用手工设计了几十年的东西。”
但有一个人站起来了。
杨立昆（Yann LeCun）。 他当时是纽约大学的教授——自己就是卷积神经网络的先驱。1989年他就用CNN做了手写邮政编码识别。但CNN从未在这么大的规模上成功过。从未。
LeCun站起来，对着全场的沉默说了一句话——
“这是计算机视觉历史上一个明确的转折点。”
他说对了。
在AlexNet之前，几乎没有一篇领先的计算机视觉论文使用神经网络。在它之后——几乎所有论文都用神经网络。 第二年的ImageNet竞赛：所有参赛者的模型都是某种形式的CNN。第三年：深层的CNN已经接近人类水平。第四年：机器已经比人类更准确了。
一个领域，从零到全面征服，只花了四年。
而这一切，从一个研究生在父母家卧室里跑出来的两块游戏显卡开始。
四、太浩湖的拍卖会
2012年12月。太浩湖。NIPS会议。
AlexNet的热度已经传遍了整个AI圈。业界最聪明的人都知道发生了一些事——一些巨大的、可能改变一切的事。
辛顿当时正在Harrah’s酒店的一个房间里，站在笔记本电脑前。他不能坐下——因为他有慢性背痛。从2005年开始，他就几乎没有坐过。
他正在接电话。微软打来的。谷歌打来的。百度打来的。还有一个伦敦的初创公司——DeepMind——在一旁徘徊。
辛顿在拍卖。
拍的不是一个产品。不是一个专利。不是一套代码——那代码本来就是开源的。
拍的是三个人。
辛顿、Krizhevsky、Sutskever。他们刚刚成立了一个叫DNNresearch的公司。没有办公室。没有收入。没有商业计划。只有三个人的大脑——和一个刚刚碾压了整个计算机视觉领域的技术证明。
拍卖过程在WIRED杂志的报道中被详细还原。几家公司轮番出价。数字一天之内翻了一倍。从几百万涨到两千多万。辛顿站在电脑前，背痛到几乎无法站立，但他没有坐下来。因为这个价格还在涨。
最终数字：4400万美元。
谷歌赢了。
（ps：现在回头看，4400万买下这三个人的大脑，可能是AI史上最划算的收购。这三个人后来分头改变了世界：Sutskever在2015年联合创立了OpenAI——就是那个造出ChatGPT的公司。Krizhevsky去谷歌把深度学习带进了搜索、翻译、广告——然后在2017年离开了。辛顿在谷歌脑团队兼职了十年——然后在2023年辞职，开始公开警告AI的危险。他后来拿了诺贝尔物理学奖。他后来说了一句令所有人忍俊不禁的名言：“Ilya觉得我们应该试试，Alex把事做成了，然后我得了诺贝尔奖。”）
但4400万的意义远不止于钱。
这是全世界第一次为”深度学习”这个被嘲笑和放逐了五十年的词，支付天价。 这意味着：资本已经做出了判断。这不是学术圈的自娱自乐。这是未来。
五、劈开世界的那一刀
现在是时候退一步，看清楚AlexNet到底做了什么。
它没有发明卷积神经网络。Yann LeCun在1989年就做了。
它没有发明GPU训练。Dan Ciresan在2011年已经在更小的数据集上证明了GPU加速的CNN可以拿冠军。
它没有发明反向传播。那是1986年——你来读这个系列的第三篇就知道了。
那AlexNet到底发明了什么？
三个词：规模、速度、证明。
规模——60,000,000个参数。不是几千。不是几万。是六千万。在当时，这是历史上训练过的最大神经网络之一。AlexNet证明了：更大，就是更好。 这是一个看似简单、但在2012年之前从未被严格验证过的事实。
速度——Alex用CUDA把卷积运算在GPU上推到了极致。但更重要的是ReLU。ReLU不只是一个激活函数——它让训练速度提高了好几倍。因为ReLU的梯度不会消失，信息可以在深层网络中自由流动。这在数学上听起来微不足道——在实际效果上是革命性的。
证明——AlexNet证明了深度卷积神经网络可以在现实世界中——不是MNIST手写数字那种玩具任务，不是CIFAR-10那种小数据集，而是真正复杂、大规模、高分辨率的自然图像——碾压一切传统方法。这不是一个”可能的突破”。这是一个不可否认的、数字写在黑板上、全世界都能看见的——事实。
把这三个词放在一起，AlexNet的历史角色就很清楚了：
它是那根导火索。
不是炸药。不是火焰。就是那根把已经在黑暗里积累了几十年的三种力量——深度神经网络、海量标注数据、GPU并行计算——同时点燃的导火索。
李飞飞后来在2024年的一次采访中说了一句话，精确地总结了这一切：
“那个时刻对整个AI世界是非常象征性的——因为现代AI的三个基础元素，第一次同时汇聚在了一起。“
六、写在显卡的嗡鸣声里
2012年的那个秋天，当Alex在父母家的卧室里盯着第五天训练的进度条时——他不知道自己正在劈开世界。
他不知道两年后自己会被谷歌收购。不知道十年后Sutskever的ChatGPT会改变人类文明。不知道二十年后辛顿会站在斯德哥尔摩领诺贝尔奖。不知道那个叫cuda-convnet的代码库会成为无数后来者的起点。
他甚至不知道自己会不会过拟合。
他只是盯着屏幕上的误差曲线。红色的训练误差在下降。蓝色的验证误差在下降。两条线在86个epoch的时候交叉了——意味着训练即将结束。后面就是过拟合。
他说：停。
合上笔记本电脑。导出权重文件。提交竞赛。
然后从卧室里站起来，走到多伦多秋天的阳光下。
天空很蓝。叶子在变色。AI世界还没有被劈开——但下一秒就要被劈开了。
原创出品：龙鹰镖局
「AI群星闪耀时」系列 · 第六篇 上一篇：第五篇 · 2006，多伦多的孤独先知——辛顿在寒冬尽头种下一棵树 下一篇预告：2016，第37手——AlphaGo vs 李世石。不是AI战胜了人类，是AI向人类展示了从未见过的围棋之美
参考资料：Krizhevsky, Sutskever, Hinton, “ImageNet Classification with Deep Convolutional Neural Networks” (NIPS 2012); CHM AlexNet源码发布记录(2025); WIRED “The Secret Auction That Set Off the Race for AI Supremacy” (2021); TechCrunch/CBC/UofT DNNresearch收购报道; Pinecone “AlexNet and ImageNet: The Birth of Deep Learning”; Wikipedia AlexNet; 动手学深度学习AlexNet章节等