RSI成为新的AGI：同样难以定义和实现

“递归”一词是人工智能界的最新流行词。两家独立的初创公司已经采用了这个名字，还有更多初创公司开始在其路线图中引用递归自我改进（RSI）。就像之前的AGI一样，RSI已成为人工智能灾难性腾飞的三个字母的代名词——尽管对于它的确切含义仍存在一些分歧。

从基本层面来说，RSI指的是可以不断自我升级的人工智能系统。一旦人工智能系统能够比人类更好地管理升级周期，该过程就可以成为一个闭环，仅受其可访问的计算能力限制，人类不再必要，甚至不再有帮助。无论可怕与否，这都是许多人工智能实验室渴望追求的愿景。

本月早些时候，著名人工智能研究员理查德·索彻（Richard Socher）推出了名为“递归超级智能”（Recursive Superintelligence）的公司，其明确目标是RSI。

索彻在发布会上告诉TechCrunch：“我们的主要重点是大规模构建真正的递归、自我改进的超级智能，这意味着研究想法的构思、实施和验证的整个过程将是自动化的。”

其他一些知名研究人员也在追求同样的目标，希望取得突破，使递归自我改进成为可能。

其中最著名的是安德烈·卡帕西（Andrej Karpathy），他是特斯拉和OpenAI的传奇人物，他正在使用智能体集群来训练大语言模型完成简单任务，该项目他称之为“自动研究”（Auto-Research）。

卡帕西对这个项目异常开放，定期在推特上发布里程碑，并通过公共GitHub仓库提供构建模块。

到目前为止，这项工作主要局限于对GPT-2规模模型进行微小改进——正如卡帕西在三月份指出的那样，“这还不是新颖的、突破性的‘研究’（尚未）”——但这足以说服许多其他研究人员追随RSI梦想。

由于卡帕西现在在Anthropic从事预训练工作，他将有充足的机会在更大规模上应用这一想法。Adaption——由Cohere和谷歌校友萨拉·胡克（Sara Hooker）创立——最近推出了一款名为AutoScientist的类似工具，旨在实现前沿训练的自动化。

与卡帕西的自动研究人员一样，该系统训练智能体进行渐进式改进——但对于Adaption来说，目标是让训练全规模前沿模型变得更容易。如果这些研究人员开始推动前沿向前发展，该系统可能会迅速演变为非常类似于RSI的东西。

Disarray创始人多丽丝·辛（Doris Xin）在最近的Kaggle比赛中，她自行训练的机器学习智能体夺得了28枚奖牌，击败了许多人类训练的智能体，这引发了人们对RSI更具体的兴趣。在她看来，主要的挑战是可靠性。

“我想说，考虑到无限的计算和无限的时间范围，我们已经达到了那个水平，”辛告诉我。“我想论证这真的不是一个创造性的努力。它只是大量的基础工程工作。”

尚未实现还有大量证据表明，人工智能行业并未以任何有意义的方式接近递归系统，并且仍在努力与谨慎的公众沟通其进展。谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）在最近的一次播客采访中基本上承认了这一点。

皮查伊说：“这是一个连续体，我们都肯定在取得进展。”“但按照人们描述RSI的方式，这将代表下一个层面的加速，并会产生很多影响，但我们还没有完全达到那个水平。”但这个连续体包含了大量自我改进的人工智能系统。

今年1月，Anthropic的Claude Code的一位首席程序员估计，他的团队“接近100%”的代码是由该工具编写的——坦率地承认Claude Code实际上是在编写自己。

仅仅因为工程师正在使用人工智能工具并不意味着该工具可以取代他们——但Anthropic似乎也接近取代工程师。

在最近一项与Mythos预览版相关的调查中，18名Anthropic工程师中有5名认为，通过利用改进，该版本的Mythos可能很快就能取代L4工程师——一名中层程序员，可以在没有监督的情况下承担复杂项目。

尽管如此，也存在一些你可能预料到的相同弱点。报告中写道：“与L4相比，Claude的一些主要弱点包括：自我管理长达一周的模糊任务、理解组织优先级、品味、验证、遵循指令和认知能力。”

换句话说，它的弱点在于与自我方向相关的一切，而自我方向是RSI的基石。但当然，对于其他一切，Claude已经准备好介入。就像之前的AGI术语一样，人工智能行业也无法告诉我们它距离展示一个有意义的递归系统还有多远。

去年，当乔治城大学安全与新兴技术中心（CSET）召集一组专家研究RSI时，该小组发现评估存在重大分歧——一些人预计即将出现“超级智能”式的爆炸，而另一些人则预计进展缓慢并最终达到稳定期。但所有人都同意，递归使得未来特别难以预测。

CSET主任、OpenAI前董事会成员海伦·托纳（Helen Toner）告诉TechCrunch，简单地使用人工智能工具进行人工智能研究不足以获得RSI资格。“他们只是尽可能多地使用人工智能，”托纳告诉TechCrunch。

“我认为这与RSI的经典定义不同，后者实际上不需要人类。”托纳指出了METR的Ajeya Cotra最近发表的一篇文章，该文章区分了人工智能研究接管道路上的不同里程碑。

Cotra称之为“充分性”的一步是当系统在所有人类被移除后仍然可以进行研究时——即使由此产生的研究没有那么有价值或效率。“对等”则出现在纯人工智能系统与纯人类系统在研究上表现相当时。

“至高无上”是最后阶段，即纯人工智能系统优于人类与人工智能协作系统。最终，Cotra得出结论，人工智能非常接近能够独立完成一些工作的充分性阈值——类似于卡帕西的自动研究系统所做的增量变化。

“如果你告诉我这个里程碑已经过去，我不会感到完全震惊，我预计它会在未来几年内发生，”Cotra写道。她不太清楚对等何时会到来，但一旦到来，她认为这将“极大地加速人工智能进步的步伐，导致人工智能研究在一年内占据主导地位。

”道路上的坎坷由于人工智能的大部分内容都建立在缩放定律之上，因此人们强烈倾向于认为RSI将遵循同样的曲线。托纳认为，许多通过RSI进行人工智能研究和开发的人“认为这是一个相当平滑的阶梯，你可以不断扩大规模。

”但即使人工智能研究人员能够像卡帕西的自动研究人员一样进行渐进式改进，移交整个研究过程也会面临更大的挑战。托纳从计算历史的角度来看，人类在计算历史中移交了越来越多的过程，同时仍然从顶层指挥一切。

“我们从机器语言转向汇编语言和编译语言；你离计算机的核心越来越远，”托纳说。“但从某种直觉意义上来说，人类仍然在掌控一切。”

超越这一范式将面临工程和对齐方面的重大挑战。但即使进行了大规模投资，也没有无限的计算可用——人类劳动和机器智能之间的基本权衡将很难克服。至于世界末日愿景中的完全递归人工智能系统？研究人员唯一基本同意的是，就像AGI一样，它还没有出现。