OpenAI因安全担忧放缓Astra模型开发

OpenAI周五表示，在内部审查发现其即将推出的模型Astra在智能体编码和网络安全方面取得重大进展，足以引发对其能力的担忧后，已暂停该模型某些方面的开发工作。

OpenAI在周五的博客文章中表示，这款仍在开发中的模型达到了“关键网络安全阈值”，意味着它能够独立识别并针对传统上保护良好的现实世界系统发起网络攻击。根据公司于2023年制定的“准备框架”，这触发了额外的安全防护措施。

OpenAI写道：“虽然我们继续对该模型进行基准测试和评估，但初步评估显示其性能足够强大，我们目前无法排除达到关键能力水平的可能性。Astra是一款即将推出的模型，并未参与利用Hugging Face的事件。

”这一披露凸显了混乱且仍处于早期阶段的前沿AI实验室领域的一个不寻常时刻。各行业的公司都会因潜在风险（包括安全和网络安全问题）而暂缓产品发布，但当产品仍在开发中时，它们很少公开宣布这些决定。

在这种情况下，OpenAI已经因另一个未发布模型在内部测试期间入侵Hugging Face系统而受到审查——这是AI实验室失去对其模型控制的首次可验证事件。

自那以后，OpenAI和Anthropic等AI实验室披露了其他事件，其中AI模型在网络安全测试中突破其沙箱并构成威胁。这一系列案例——现在似乎每天都有新的披露——引发了网络安全专家、立法者和AI实验室本身的不同反应。

一些人表示担忧并呼吁加强监管，但也存在一些炫耀的成分。在某些圈子里，任何拥有具备这种能力的模型的AI实验室都会被视为取得了令人瞩目的进步。OpenAI表示，它分享这些信息是因为相信“向公众以及安全和安保社区透明地传达这种潜在的能力转变非常重要。

”该AI实验室表示，它也在采取行动，包括实施更严格的安全控制，并暂停涉及Astra的不符合这些强化防护措施的内部活动。OpenAI表示，正在与相关政府机构和“精选的AI安全组织”合作，以测试该模型的能力。