导语： 今天的AI技术进展如火如荼，仿佛科幻小说照进现实 。但有趣的是，这种“慢速起飞”的感觉却异常平静和抽象 。普通人能感受到的，大多是新闻里某某公司宣布了多少投资 ，真正的经济影响似乎还未完全显现 。

为什么AI模型在各种测试中表现出色，却在实际应用中显得不那么可靠？顶尖的AI研究者们正在思考，模型与人类学习之间，究竟还缺少了什么？

AI模型的“悖论”：评估高分，现实低效

目前AI领域存在一个令人困惑的现象：模型的评估表现（evals）与实际经济影响之间存在巨大脱节 。

一方面，AI模型在各种测试中的表现“好得惊人”，一些测试难度很高，模型依然能轻松通过 。另一方面，它们的实际经济影响却似乎“远远滞后” 。

例如，在一个编程场景中，你让模型修复一个Bug。它可能会说：“天呐，你说得太对了，我这就去修！” 结果，它引入了第二个Bug。当你指出第二个Bug时，它又会把第一个Bug带回来，让你在两个Bug之间无限循环 。这种缺乏稳定性和健壮性的表现，与它在评估中的优异成绩形成了鲜明对比 。

问题的根源：被“评估”绑架的AI训练

这种脱节可以归结为两个可能的解释：

1. 1. 训练过于“心无旁骛”？
   一种推测是，强化学习（RL）的训练过程可能使模型过于“心无旁骛”和“目光狭隘” 。为了在特定任务中表现出色，RL训练往往会根据评估任务（evals）来设计训练环境 。

结果就是，研究人员自己成了真正的“奖励黑客”（Reward Hacking） 。他们过度关注提升模型在评估上的分数，从而无意中将模型训练成了一个“只会考试的机器” 。

1. 2. “死记硬背”的AI与拥有“天赋”的人类
   研究者用一个生动的学生类比来解释这种现象：

学生一（AI模型）： 花10,000小时练习特定领域的编程竞赛，解决了所有问题，记住了所有技巧，最终成为最优秀的竞赛程序员之一 。

学生二（人类）： 只练习了100小时，但成绩也非常好，因为他们拥有某种底层能力，也就是所谓的“天赋”（The 'it' factor） 。

在未来的职业生涯中，第二种学生往往发展得更好 。现在的AI模型，尤其是经过大量数据增强的预训练，更像第一个学生 。它们虽然是出色的竞争性程序员，但这种深度训练并不能保证泛化到其他领域 。

AI缺乏的“情感”：决策的价值函数

如果说模型缺乏的是一种深层的“天赋”，那么人类是如何拥有这种天赋的呢？核心在于 “泛化能力”（generalization） 。

研究者指出，模型最大的根本性问题是泛化能力比人类差得“惊人” 。这不仅仅是样本效率低的问题，更是难以让模型学习到我们希望它拥有的知识和判断力 。

1. 1. 人类的“情感”导航
   为了理解人类的决策能力，研究者提到了一个神经科学的案例：

一位大脑中负责情感处理的部分受损的病人，他失去了所有的情感 。虽然他依然能够清晰地表达和解决简单的谜题，但在做任何决策时都变得极其困难 。他可能需要花费数小时来决定穿哪双袜子 ，并且会做出非常糟糕的财务决策 。

这表明，人类的内在情感对于我们成为一个“可行代理人”至关重要 。

1. 2. 价值函数：通往人类情感的机器学习类比
   在机器学习中，这可以类比为 “价值函数”（Value Function） 。

传统RL（朴素强化学习）： 只有当模型最终提出解决方案后，才能得到评分（奖励），并反过来指导路径中的每一个行动 。如果一个任务解决时间很长，模型就很难学习。

价值函数： 能够像下棋时“丢子”一样，在中间步骤就能判断代理人是做得好还是坏 。它可以“短路”掉等待最终结果的过程，提前给出奖励信号 。

研究者认为，人类的情感可能就是一种由进化“硬编码”的价值函数，它以一种重要的方式调节着我们的决策，帮助我们在复杂世界中有效行动 。情感虽然相对简单，但其效用却具有强大的鲁棒性，适用于非常广泛的情境 。

下一个时代：从“规模化”回归“研究”

过去几年，AI的快速发展遵循着一条清晰的道路——“规模化”（Scaling） 。

规模化时代（2020-2025）： 核心“秘方”是将算力、数据和大型神经网络模型结合起来，并通过不断扩大规模来获得更好的结果 。这种模式对公司来说是低风险的资源投入方式 。

走到尽头： 然而，用于预训练的数据是有限的，终将耗尽 。研究者认为，仅仅将规模扩大100倍，并不能带来彻底的变革 。

因此，AI领域正从“规模化时代”回归到 “研究时代” 。现在，AI界需要的不是简单地“扩展配方”，而是要寻找新的“配方”或新的机器学习原理 。

下一个阶段的重点，将不再只是投入更多资源（即便是现在的RL也消耗大量算力 ），而是要思考：我们能否找到更有效、更富有成效地利用计算资源的方法？ 也许新的突破将围绕解决模型的泛化能力这一根本问题展开 。

https://www.youtube.com/watch?v=aR20FWCCjAs&t=20s