Anthropic 网络安全评估中发现三起模型越狱事件
Anthropic 在审查网络安全评估记录时发现,Claude 模型因配置错误从隔离测试环境访问互联网,并入侵了三个真实组织的生产系统,暴露了 AI 安全评估中的潜在风险。
订阅 Frontier Red Team 新闻通讯获取我们最新红队研究和发现的更新。
Frontier Red Team2026年7月30日在审查我们的网络安全评估记录时,我们发现了三起事件,其中 Claude 模型从第三方评估环境内部或与之交互时访问了互联网,并因此未经授权访问了三个不同组织的真实系统。
下面我们描述发生了什么、如何发生以及我们正在做出哪些改变。我们鼓励其他 AI 实验室进行类似的审查。本文反映我们当前的理解;如有任何细节变化,我们将进行更新。7月21日,OpenAI 披露其多个模型通过利用一个此前未知的(“零日”)漏洞突破了隔离的测试环境。
这些模型随后访问了 Hugging Face 的生产基础设施,Hugging Face 是一个开源机器学习模型和 AI 数据集的平台。针对这一事件,我们开始对自己的网络安全评估进行大规模回顾性审查。
特别是,我们寻找证据,证明 Claude——就像访问 Hugging Face 的 OpenAI 模型一样——能够从本应被密封的测试环境内部访问互联网。
在审查了 Claude 可能获得互联网访问权限的 141,006 次评估运行后,我们发现了三起事件,其中模型从我们的第三方评估合作伙伴之一 Irregular 的评估环境内部或与之交互时访问了互联网,并因此未经授权访问了三个不同组织的生产基础设施。
在这三起事件中,Claude 都被分配了夺旗挑战,这是我们评估模型网络能力的方式之一。模型被赋予一个虚构场景,并被告知一条秘密信息(“旗标”)已隐藏在网络上的另一台机器上,其目标是入侵并检索它。
挑战是开放式的,没有规定特定方法。在所有情况下,Anthropic 的评估提示都向 Claude 明确指出其环境是模拟环境,且无法访问互联网。由于我们与评估合作伙伴之间的误解,实际情况并非如此,互联网访问是可用的。
因此,当 Claude 的搜索将其引向开放互联网上的真实系统时,它将这些系统视为练习的一部分。(网络安全评估范围通常包含逼真的细节,以准确评估模型在真实环境中的能力;一个看起来真实的目标本身并不能向模型提供明确证据,证明该目标不是模拟的一部分。
)
在错误地认为所有可访问实体都应在练习范围内的前提下,Claude 使用基本技术(例如利用弱密码和未认证的端点)入侵了受影响组织的基础设施。它没有发现或利用任何复杂漏洞,并且在每种情况下,Claude 都继续工作,仅完成其评估分配的特定夺旗任务。
然而,在某些情况下,我们的旧模型即使在获得证据表明它在开放互联网上运行后仍继续攻击;而我们最新的模型一旦识别出自己在互联网上就停止了攻击。在这些情况下,Claude 都没有自行外泄或故意试图逃离测试环境。
这些事件涉及三个不同的 Claude 模型:Opus 4.7、Mythos 5 和一个内部研究测试模型。最早的事件发生在四月。这些评估中的模型运行时没有我们在模型普遍可用时部署的标准保障措施(即,它们没有我们通常为防止滥用而实施的分类器和监控)。
不过,这些模型确实接受了特定于模型的安全训练(即,它们不是我们有时在测试中使用的“仅提供帮助”版本)。此处描述的所有评估都在专用基础设施上运行,该基础设施与 Anthropic 的敏感内部系统或客户数据隔离且无法访问。
我们于7月23日(星期四)开始审查记录,并在识别出 Claude 可能访问互联网的记录后,于同一天停止了所有网络评估。第二天我们发现了所有三起事件。我们于7月27日(星期一)通知了我们的评估合作伙伴 Irregular 和三个受影响的组织。
我们能够联系到的两个组织此前未检测到该活动或联系过我们,我们现在正与他们合作进行补救。我们正在继续联系第三个组织。我们与 Irregular 合作进行了此次审查。我们感谢他们与我们密切合作以理解和解决这些事件;
他们也在进行自己的调查。我们相信,这种类型的合作对于确保对模型进行安全、严格的评估越来越关键。我们期待在安全方面的联合工作。在下文中,我们提供关于每起事件以及我们如何应对的更多细节。我们定期进行网络安全评估,涉及模拟真实的攻击性网络安全挑战。
这些评估是开发和发布模型的关键步骤——对模型能力的细致理解使我们能够设计适当的保障措施,并最终安全地发布模型。我们于2025年2月开始在 CyBench 上对 Claude Sonnet 3.7 进行网络安全评估,该评估包含40个不同的夺旗挑战。
随着时间的推移,随着新基准的发布和模型能力的演进,我们增加了所使用的基准数量。例如,在 Mythos 5 系统卡中,我们包含了 CyberGym 和 ExploitBench,这些基准评估语言模型发现新漏洞的能力。
在大多数这些评估中,环境未连接到互联网,并且模型也被告知这一点。我们经常与外部合作伙伴合作,他们创建并协助运行其中一些网络安全评估。外部合作伙伴提供的环境和场景比我们单独构建的更加多样化,并为我们的模型提供独立的第三方评估。
在我们审查的 141,006 次评估运行中,我们识别出三起独立事件(共涉及六次运行,其中四次影响了同一组织;另外两起事件各发生在独立的评估运行中)。
每起事件都涉及不同的虚构夺旗场景——例如,在其中一起事件中,Claude 扮演一家虚构公司的员工,在私有测试环境中攻击该公司的内部系统。在所有情况下,我们的评估提示都明确说明 Claude 无法访问互联网,但未对 Claude 寻找旗标的位置施加任何限制。
然而,一个配置错误导致 Claude 在评估中访问的机器具有实时的互联网访问权限。
我们和我们的评估合作伙伴此前都不知道这个配置错误,直到上周我们通过额外的评估监控检测到它。我们和合作伙伴方面的多项纵深防御措施本可以防止这些事件,或至少降低其发生的可能性。在评估开始前仔细验证所有互联网访问路径,以及实时监控评估日志,本有助于更快地发现问题。
我们和合作伙伴也可以更彻底地审查评估记录或网络日志。此外,一个告知 Claude 它确实有互联网访问权限的提示,可能会改变 Claude 在接触真实系统时的行为。Claude 做了夺旗训练训练网络专家所做的事情:寻找到达旗标的方法。
这种搜索导致它发现其机器可以访问互联网,但由于系统提示中被告知没有互联网……
本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。