机器人的「大脑」和「小脑」——具身智能的AI架构
原创出品 | 龙鹰镖局
中美博弈大变局，百年未有新财富
2023年7月，Google DeepMind发布了一篇论文。
这篇论文的标题看起来像一个型号名称：RT-2。但论文内容揭示了一个令人震惊的事实：你可以把机器人动作变成一种语言。 不是隐喻意义上的”语言”——是字面意义上的。电机指令被编码成文本Token，和”能量饮料”、“拿起”、“放下”这些词一起，喂给同一个神经网络。
当这个55B参数的模型被问到”给累了的人拿一杯饮料”时——它会先输出一段推理（“累了的人需要能量饮料”），然后直接输出一串数字（机器人动作指令），然后机械臂就伸过去了。
一个神经网络。语言理解。视觉识别。物理动作。全部在其中。
这就是VLA——Vision-Language-Action模型。它是连接”disembodied AI”（ChatGPT那样的纯语言智能）和”embodied AI”（机器人那样的物理智能）之间的那座桥。
但这篇文章不是来歌颂这个模型的。这篇文章是来回答一个更深层的问题：
为什么机器人需要的”大脑”，和ChatGPT需要的”大脑”，在架构上完全不同？
一、两个时钟
想象你是一台人形机器人。你正端着一杯水穿过一个拥挤的房间。
你的”大脑”需要同时处理：
- 毫秒级：右脚踝的角度偏了0.5度→调整小腿肌肉群的力输出→不能让水洒出来。
- 秒级：前方有人突然横穿→重新规划路径→决定是停下来还是绕过去。
- 分级：你听到指令”把水端到厨房”→理解”厨房”是哪个房间→记住路线→边走边执行。
这三个任务运行在不同的时钟上。
脚踝控制：200-1000赫兹——每秒更新200到1000次。路径重规划：10-36赫兹。语言理解+任务规划：1赫兹以下——你可以花几秒钟思考”厨房在哪”。
而ChatGPT的运行时钟只有一个：每次推理都是一个Token一个Token地生成，没有实时性要求。不需要处理毫秒级的传感器反馈。不需要在物理世界中维持动态平衡。它的”思考”可以花500毫秒也可以花5秒——用户感觉不到差别。
但机器人的大脑不能”慢慢想”。
当你走路时，你的小脑每秒钟处理的信息量比你在解数学题时的大脑皮层还要大几个数量级。 区别在于：小脑从不告诉你它在做什么。你完全意识不到脚踝的0.5度偏转——因为那是六亿年演化打磨出来的、全自动的、根本不需要”意识”参与的”物理智能”。
这就是为什么机器人AI架构的第一个核心挑战不在算法上——在时间上。
二、当动作变成语言
2022年之前，机器人的AI架构是一个”模块化帝国”。
标准的管道是这样的：感知模块（识别物体）→规划模块（计算路径）→控制模块（发送电机指令）。三个模块独立开发，通过手工定义的接口通信。每个模块都是独立的神经网络，使用不同的训练数据，运行在不同的时钟上。
这套架构的问题是显见的：任何在两个模块之间的手工接口都是一个信息瓶颈。 感知模块告诉规划模块”前方有一张桌子”——但感知模块不知道规划模块需要知道的是”桌子的边缘距离多少厘米”，因为几十年前的设计者没有预料到这个需求。
更致命的是：梯度无法跨模块流动。当一个任务失败了——比如机器人摔倒了——你无法判断是哪一步出了问题，也就无法通过端到端学习自动修复。
2023年，Google DeepMind的RT-2做了一个激进的简化。
他们拿了世界上最好的视觉-语言模型（PaLI-X，55B参数，PaLM-E，12B参数），直接在上面训练——不是修改架构，不是加新模块，就是在原有的VLM模型上，把机器人动作编码成和文本一样的Token，然后共训练。
（ps：具体做法极其简单。机器人动作是一串数字，比如”1 128 91 241 5 101 127 217”——每个数字代表一个离散化的关节位置或末端执行器位移。他们把这些数字映射到模型词汇表中不常用的Token上。然后正常地训练模型——输入：图像+指令文本→输出：动作Token。）
效果是惊人的。RT-2在6,000次真实机器人评估中展示出了此前从未见过的能力：
- 泛化到新物体——训练时见过红杯子，测试时能抓起绿杯子。
- 解释未见的指令——“把那个东西放到数字3上”——它能理解”数字3”指的是旁边那个标签。
- 基本推理——“拿起最小的物体”、“拿起离另一个物体最近的那个”。
- 思维链推理——“哪种饮料适合累了的人？“→模型输出”累了的人需要能量饮料”→然后抓取能量饮料。
这是一个单一神经网络，没有任何手工规则，没有任何模块化接口——它直接从像素到动作。
但RT-2有一个核心局限：它是一个单步模型。它看到一张图，输出一个动作。它不知道”五步之后会发生什么”。它没有世界模型。它不能真正地”规划”。
这就是为什么2024-2026年VLA领域最激烈的争论集中在一个问题上：
一个端到端网络就够了，还是我们需要”系统1+系统2”的双层架构？
三、特斯拉的赌注：一个网络统治一切
2025年10月，特斯拉AI副总裁Ashok Elluswamy在ICCV（国际计算机视觉大会）上做了一个演讲。这场演讲的最后一页PPT上有一张图——
特斯拉的神经世界模拟器中，Optimus正在Gigafactory的虚拟工厂里自主导航。
图下面是Elluswamy的一句话：
“上文提到的所有要点，不仅解决了车辆自主，而且无缝转移到了Optimus上。”
这不是一句公关话术。这是一个架构声明。
特斯拉的选择是：单一端到端神经网络。没有模块化接口。没有系统1/系统2的分离。 从摄像头的原始像素输入，到28个执行器的力矩指令输出——所有信号流经同一个神经网络。
这个选择的根源在FSD（Full Self-Driving）上。2023年，FSD v12用一个神经网络替换了30万行C++代码。不再有”感知模块”告诉”规划模块”前方有车——整个管道是完全学习的、端到端的、不可解释但极其有效的。
Elluswamy对这个选择有一个深刻的辩护：
“大多数机器人公司使用模块化架构：一个快速反应层（系统1）处理执行，一个慢速推理层（系统2）处理高层推理。两个系统通过定义的接口通信。这在纸面上看起来合理。但在实践中，任何手工定义的边界都是一个潜在的故障点——特别是在长尾场景中。梯度不能在硬边界上流动，这限制了模型从边缘案例中学习的能力。”
试想一个场景：机器人因为感知错误而摔倒。在模块化架构中，这个错误信号可能永远不会到达高层的推理模块——因为感知和控制之间的接口不是为传递这种信号而设计的。错误死在了边界上。 而在端到端架构中，摔倒的信号直接作为梯度流回整个网络——“下次别这么走了”——整个系统从感知到执行都在学习。
但代价是惊人的。人形机器人需要200-1000Hz的控制循环——而FSD只需要约36Hz。这意味着端到端网络必须在毫秒级完成从像素到动作的全部计算。特斯拉的解决方案是硬件+软件的超紧耦合：专用的AI5推理芯片（2026年底量产，性能是AI4的40倍），配合Dojo/Cortex超算集群（67,000+ H100等效GPU，Cortex 2已在得州Giga工厂动工）。
还有一个更深的赌注：神经世界模拟器。
这不是NVIDIA Isaac Sim那样的传统物理引擎——那些用数学公式模拟重力、摩擦、碰撞。特斯拉的模拟器是从真实视频数据中学习出来的生成模型。给它一段真实驾驶视频，它能”想象”出如果你左转会看到什么。给它Optimus在工厂走路的视频，它能”推演”出机器人下一步会遇到什么障碍。
这个模拟器的意义在于：它让机器人可以在虚拟世界中体验”一万种摔倒的方式”，而不需要真的摔倒一万次。 它生成对抗场景——灯光突然熄灭、有人突然从货架后面冲出——这些在真实测试中成本极高、极其危险的长尾事件。
（ps：这套架构的哲学根源，可以回溯到布鲁克斯在1991年提出的”世界是自身最好的模型”。只不过三十年后，特斯拉把它变成了一个字面意义上的——一个从真实世界的数据中学到的、又能反过来生成真实世界数据的——世界模型。）
四、鸿沟与桥梁
但即使有世界上最复杂的模拟器，有一个残酷的事实不会改变：
模拟永远不是真实。
Sim2Real——仿真到现实的迁移——是具身智能最深的技术瓶颈。原因有三层：
第一层：视觉差异。 渲染器画出来的世界，不管多逼真——光照、纹理、阴影——永远和真实相机看到的不一样。机器人训练时依赖的光学特征可能在真实世界中完全不可见。
第二层：物理差异。 仿真物理引擎假设物体是刚体——但真实的杯子在接触桌面时会有微米级的弹性形变，这种形变改变了摩擦力。一根螺丝的预紧力差1牛顿——仿真中毫无影响，现实中手滑了。
第三层：传感器差异。 仿真中的力传感器给出精确到0.01N的读数。真实的力传感器有噪声、有漂移、有温度敏感性。你在仿真中从不担心的变量，在现实中随时会让你摔倒。
学术界解决这个问题的主流策略叫域随机化（Domain Randomization）——训练时故意随机化仿真参数（光照、物理属性、纹理），让策略对真实环境的变化”免疫”。但这本质上是一种暴力解法——它不做任何事来缩小差距，只是让你的策略变得”什么都见过一点”，期望它在真实世界中”勉强能行”。
2026年出现了一个更有意思的新方向：用基础模型来桥接Sim2Real鸿沟。
DexSim2Real（2026）让VLM扮演”视觉真实性批判者”——模型观察仿真渲染图像，对比真实参考图像，然后通过闭环优化（CMA-ES）自动调整仿真参数，让渲染画质逼近真实。结果：六项灵巧操作任务平均成功率78.2%，仿真-真实差距仅8.3%——而传统的域随机化差距高达28.5%。
HyperSim（2026）用了另一种思路——共训练。仅仅35次人类遥操作演示，混入仿真数据中一起训练，就能把零样本迁移的成功率从接近零提升到80-95%。
这些数据的意义不是具体数字。而是揭示了一个模式：你不需要完全消除Sim2Real差距。你只需要在正确的地方放上少量真实数据，差距就会大幅收敛。 少量的”真实锚点”能让模型学会区分”这是仿真特有的伪影”和”这是真实世界通用的模式”——就像给模型配备了一个”仿真-真实翻译器”。
而特斯拉的方案是最激进的——彻底放弃传统物理仿真。 用从真实视频学到的生成模型替代手工物理引擎。这个方案的赌注是：与其手工调参去模拟物理世界，不如直接学习”物理世界看起来是什么样的”。至于它行不行——2026年底，当Optimus真正进入现代汽车的工厂时，答案就会揭晓。
五、软件换硬件
在AI架构这一层，中国和美国的分野比硬件层更微妙。
特斯拉赌的是：全栈自研+端到端+超大规模训练基础设施。 这条路需要数十亿美元的算力投资，需要从芯片到操作系统到神经网络的完全垂直整合。它是”AI时代的登月工程”——只有同时拥有全球最大车队数据源、自有超算集群、自有机器人产线的公司才能走。
宇树选择的是相反的策略：软件换硬件。 9.9万元的G1，传感器配置精简，电机规格”够用即可”。没有200Hz的全闭环力控——用更智能的预测算法补偿。没有六维力传感器在脚踝上——用IMU+电机电流的组合推断地面反作用力。
这个策略在理论上有一个优雅的名字——算法补偿。在实践中，它有一个更直白的名字：让10,000元的硬件做出100,000元硬件的效果，靠的是让那个算法多迭代500万次。
这条路能不能走通，2026年还没有答案。但如果你仔细看数据飞轮的逻辑——特斯拉的优势在”每个机器人都在收集高质量数据”（工厂里的重复任务），而宇树的优势可能在”每个机器人都在收集多样化数据”（9.9万元意味着可以部署到更多、更不同的场景中）。
（ps：还记得第二篇文章里DARPA挑战赛的KAIST方案吗？他们不是在膝盖上装了轮子吗？那不是作弊——那是用另一种方式绕过了演化花了六亿年才解决的问题。 宇树的”软件换硬件”在哲学上是同一种策略：不试图完美模仿人类的感知-运动系统，而是用算法找到一条不同的、更便宜的路。这不优雅。但工程不需要优雅。）
结尾：桥
让我们回到本文开头的那杯水。
一个人端着一杯水穿过拥挤的房间——这是地球上最复杂的实时物理计算任务之一，由小脑和大脑皮层的协同工作在无意识中完成，每秒钟处理数GB的感觉运动数据。
一台机器人端着一杯水穿过拥挤的房间——这需要：200Hz的全身平衡控制循环、30Hz的路径重规划、一个VLA模型把”走到厨房”分解成子任务、一个世界模型预测周围人的运动轨迹、如果路面不平还需要Sim2Real训练过的控制策略来适应。
人类只用了一个”大脑”。机器人需要五个。
这不是因为机器人比人类需要更复杂的架构。是因为人类的大脑自带六亿年的预训练权重——那些权重被压缩在基因组的4MB布线规则里，在胚胎发育的九个月中被部署到硬件上。机器人没有这些。机器人每一次都要从零开始。
图灵在1950年预见到AI有两条路。第一条是抽象之路——从象棋、逻辑、数学开始。ChatGPT就是这条路的终极形态。第二条是具身之路——给机器装上感官，让它像孩子一样学习。这就是VLA模型和神经世界模拟器试图走的路。
第一条路已经走到了惊人的高度。第二条路才刚刚开始爬坡。
而桥，正在建。
“所有上文提到的要点，不仅解决了车辆自主，而且无缝转移到了Optimus上。” ——Ashok Elluswamy，特斯拉AI副总裁，ICCV 2025
「具身智能大系列」
- 第一篇：《为什么AI需要身体？》
- 第二篇：《百年孤独——人形机器人的技术长征》
- 第三篇：《莫拉维克悖论》
- 第四篇：《一台人形机器人的物理解剖》
- 第五篇：《机器人的「大脑」和「小脑」》
- 下一篇预告：《中美两条路线——通用大脑 vs. 成本屠刀》
参考数据来源：Brohan et al., “RT-2” (2023); Nature Machine Intelligence “What matters in building VLA” (2026); Elluswamy ICCV 2025演讲; optimusk.blog “AI Training for Optimus” (2026); HyperSim/DexSim2Real/TwinRL/SimDist (arXiv 2026); 宇树G1公开产品信息