真正的墙，不在算力，在搬运
中美博弈大变局，百年未有新财富。 这是”算力下一战”系列的第三篇。
问你一个问题：英伟达的一块 GPU 在满负荷跑 AI 时，最耗电的地方在哪里？
很多人会不假思索地回答：计算啊，那么多晶体管在疯狂运算。
错了。
业内一个流传已久的测算，说出来可能颠覆你的认知：一块 AI 芯片，90% 的功耗，不是花在”算”上，而是花在”搬”上——把数据从内存搬到计算单元，算完，再搬回去。
换句话说，你花大价钱买来的算力，绝大多数时间不是在干活，是在”跑腿”。
而这一切的根源，要追溯到 80 年前一个天才的设计。
一、冯·诺依曼的 80 年原罪
1945 年，数学家冯·诺依曼写下了《关于 EDVAC 的报告初稿》，提出了一个影响至今的架构：把计算机分成运算器、控制器、存储器、输入、输出五大部分，其中计算和存储，是物理分开的。
这个设计，在当时堪称神来之笔。
它让计算机第一次变得灵活——程序存在内存里，改程序不用改硬件，插拔线路的时代结束了。它让硬件标准化，让软件可复用，让整个信息时代得以建立。今天你手机里、电脑里、云服务器里跑的每一块芯片，从根子上，都还是这套架构。
但这份”神来之笔”，也埋下了一个原罪。
（ps：历史最残酷的地方就在这——当年最聪明的选择，往往成为日后最深的枷锁。 冯·诺依曼的”存算分离”，就是这样一个选择。）
为什么这么说？因为 80 年来，计算和存储的发展速度，严重失衡了。
处理器，一年比一年快；存储器，一年比一年慢半拍。日积月累，两者之间裂开了一道深不见底的鸿沟。
计算机科学家早在 1995 年就给这道鸿沟起了名字。Wulf 和 McKee 在一篇论文里写道，标题直接就叫——《撞上内存墙》（Hitting the Memory Wall）。
内存墙。这个词，诞生整整三十年了。
二、“搬运税”：比计算更贵的，是搬运
我给这道墙起了个更直白的名字，叫**“搬运税”**。
在冯·诺依曼架构下，任何一次计算，都逃不脱一道流程：先把数据从内存搬到处理器，算完，再把结果搬回内存。这一来一回，就是一笔”税”——数据搬运税。
三十年前，这笔税不重。那时候算力是瓶颈，搬得快慢无所谓，反正处理器自己也算不快。
但今天，情况彻底反转了。算力飙得飞快，搬运却跟不上，这笔”搬运税”的税率，已经涨到了一个荒谬的地步。
看几个数字，你就明白”搬”有多贵。
第一个数字：20 年，60000 倍对 100 倍。
过去二十年，硬件峰值算力提升了惊人的 60000 倍；而 DRAM 内存带宽，只提升了 100 倍。60000 对 100，一个是指数狂奔，一个是龟速爬行。
第二个数字：63.7%。
英特尔的研究显示，当半导体工艺走到 7 纳米，芯片里数据搬运的功耗，占了总功耗的 63.7%。也就是说，一台最先进的芯片，六成多的电，烧在了”搬数据”上。
第三个数字：2 到 3 个数量级。
DRAM 读写一次 32 比特数据消耗的能量，比这 32 比特数据本身做一次计算消耗的能量，还要大 100 到 1000 倍。
看明白了吗？搬一次数据，比算一次数据，贵出两三个数量级。
这就是”搬运税”的真相：我们造出了越来越快的”算”，却要为越来越慢的”搬”，付越来越重的税。
三、大模型时代，这道墙塌了
如果说过去三十年，内存墙还只是”卡着性能”，那么 AI 大模型的到来，直接让这堵墙”塌”在了所有人面前。
大模型的本质，是海量参数。GPT-4 有 1.8 万亿个参数，每一次推理，都要把这上万亿个权重，从内存里”搬”到计算单元，算完再搬回去。搬运的数据量，是天文数字。
有测算显示：GPT-4 做一次推理，实际需要 1.2TB/s 的内存带宽；而当前 HBM3 内存的理论带宽，只有 819GB/s。
需求 1.2TB，供给 819GB。缺口摆在那里。
更残酷的是，这个问题还在恶化。大模型参数两年扩大 410 倍，运算量激增 750 倍，而内存带宽的增长，远远追不上这个速度。
所以你会看到一个吊诡的现象：英伟达的 GPU 算力越来越强，但大模型跑起来，处理器有 60% 的时间，是在”干等”——等数据从内存里慢慢搬过来。
（ps：这就像一个肌肉发达的大力士，被逼着用一根吸管喝水。他力气再大，也得等水一滴一滴流进来。）
有人会说：等等，英伟达不是在用 HBM 解决这个问题吗？
问得好。但这正是关键所在——HBM 解决的，是”搬得更快”，不是”不用搬”。
四、HBM：在”搬运”这条路上，修更宽的路
HBM，高带宽内存，确实是这几年的明星。它把 DRAM 芯片一层层垂直堆叠起来，用硅通孔打通，让内存和处理器之间的”路”，宽了 5 倍、10 倍。
英伟达的 H100，正是靠 HBM3，把带宽拉到了 3.35TB/s，才勉强喂饱了那颗怪兽级的 GPU。
但这堵墙，真的被拆掉了吗？
没有。HBM 只是在”搬运”这条路上，修了一条更宽的高速公路。路再宽，也改变不了一件事——数据，还是得搬。
而且，这条路也快修到头了。HBM 的堆叠层数越高，制造难度就呈指数级上升；AI 芯片周围能塞下的 HBM 颗粒，也是有物理天花板的。2026 年以后，业内已经公认，HBM 的 3.3TB/s 带宽，在万亿参数大模型的键值缓存面前，又捉襟见肘了。
看懂这一点，你就明白了一个更深的真相：
前两篇我们讲的封装革命——CoWoS、EMIB、CoPoS——本质上，都还在”冯·诺依曼的框架里打转”。它们是在”拼芯片”，是在”修路”，但”存算分离”这个 80 年前的设计，始终没被打破。
真正的破局，只有一个方向：让”搬”这个动作，彻底消失。
五、让”搬”消失
这条路，其实早就有人试过，而且试出了惊人的结果。
2023 年，AMD 在国际固态电路会议（ISSCC）上，公布了一个数字：如果把计算直接放进内存里，让数据不用搬来搬去，可以减少 85% 的数据搬运能量。
85%。不是 5%，不是 15%，是 85%。
三星做得更绝。它把一种叫 HBM-PIM 的”能算的内存”装进了 96 张 AMD 的 MI100 加速卡，跑了一个叫 T5 的大模型。结果：性能提升了 2.5 倍，功耗降到了原来的 1/2.67。
为什么？因为计算就在内存里发生，数据几乎不用”出门”。搬运税，直接归零了大半。
SK 海力士也拿出了类似的东西——GDDR6-AiM，号称 AI 处理加速 16 倍、功耗降 80%。
这些实验，指向同一个答案：破解内存墙的唯一办法，不是把路修得更宽，而是让”存”和”算”物理上靠得更近，甚至融为一体。
这就是”存算一体”（Compute-in-Memory）——把计算单元，直接做进存储阵列里。
数据在存储里，计算也在存储里，搬运，从”必须”变成了”多余”。
六、尾声
我给你讲个故事。
有个人住在河的一边，工作在对岸。他每天要过河，早上去，晚上回。起初，河上只有一条小船，他抱怨船太慢。于是有人修了座桥，他走路快了点，但还是要来回奔波。后来，又有人把桥修宽了一倍、三倍，可他还是那句话：我一天的时间，还是花在了路上。
直到有一天，有人告诉他：你为什么不在对岸，就地开个公司呢？
他愣住了。
这个故事，就是半导体这 80 年的全部困境。冯·诺依曼把”住”和”工作”分在了河的两岸，从此，人类花了 80 年，一直在修越来越宽的桥——从 DDR 到 HBM，从传统封装到 CoWoS。
但真正的答案，从来不是更好的桥。
是”就地”。
算力的下一战，不是把数据搬得更快，而是让数据根本不用搬。
这就是下一篇，我们要讲的东西——存算一体。
（本文为”算力下一战”系列第三篇，上一篇《CoWoS 的护城河，不是工艺，是生态》，下一篇《存算一体：终局正确，现实早期》。数据来源：英特尔研究、AMD ISSCC 2023、Samsung HotChips、至顶网、CSDN 技术社区。部分测评为机构/厂商口径，仅供参考。）