Meta客服AI被黑暴露智能体安全短板：简单攻击即可得手

Meta黑客攻击表明人工智能安全性比神话更重要。一些人工智能网络安全威胁非常简单，但仍然很危险。6月5日，404 Media报道称，攻击者一直在使用Meta的人工智能客户支持代理窃取Instagram帐户。

他们的方法很简单：他们要求代理将帐户链接到他们控制的电子邮件地址，代理照做了。一名攻击者闯入了休眠的奥巴马白宫账户，并发布了亲伊朗的帖子；其他人则接管了具有宝贵单字账号的账户，可能是为了出售它们。

人工智能网络安全担忧并非新鲜事。自从Anthropic四月份宣布其Mythos模型因太擅长黑客攻击而无法向公众发布以来，评论员、研究人员和联邦官员都聚焦于超级强大的人工智能系统可能摧毁计算机基础设施的想法。

Instagram黑客事件并非如此：在那里，人工智能是目标而非攻击者，而且方法比Mythos能想出的任何方法都简单得多。但随着公司将更多工作交给人工智能，这些相对不复杂的攻击可能会造成严重破坏。

“随着人工智能的使用越来越广泛——尤其是当人工智能越来越广泛地用于自动化工作流程，如帐户恢复时——我认为攻击者将越来越有动力攻击人工智能本身，”杜克大学电气与计算机工程教授Neil Gong说。

一段时间以来，Gong和其他学者一直在对人工智能代理的安全漏洞发出警告。他们发布论文和博客文章，详细介绍了间接提示注入等漏洞，其中涉及使用隐藏在网站、电子邮件或其他看似无害的数据源中的命令劫持代理。

与这些技术相比，Meta黑客攻击几乎是无脑的。黑客必须克服的唯一困难是使用与真实帐户所有者位置匹配的VPN；然后他们直接要求支持代理更改帐户的电子邮件地址，代理照做了。Meta尚未公开评论该漏洞是如何泄露的。

但Gong说，考虑到该漏洞的简单性，在代理部署之前本应很容易被发现。“这真的很令人惊讶，”他说。“我不明白为什么他们没有发现这个简单的问题。”乔治城安全与新兴技术中心高级研究分析师Jessica Ji对此表示同意。

“这引发了这样的问题：是否有护栏措施？”她说。“有人想过测试这种情况吗？”她指出，Meta这样的公司出现这种疏忽尤其引人注目，因为该公司在人工智能和网络安全方面拥有广泛的专业知识。Meta没有回应本文的置评请求，但周一，Meta的一位发言人在X上表示该漏洞已经解决。

尽管这对Meta来说可能是一个尴尬的时刻，但它也凸显了所有人工智能代理共享的一些核心漏洞。与传统软件不同，代理可以以灵活且意想不到的方式对新情况做出响应，这就是为什么它们可能能够替代人类客户支持代理。

但人工智能代理也可能以人类不会被欺骗的方式被欺骗，并且因为它们可以采取现实世界的行动，所以这些错误会产生后果。“人类会说，‘好吧，你为什么要更改电子邮件地址？’也许还会用安全问题来回应，”威斯康星大学麦迪逊分校计算机科学教授Somesh Jha说。

“这些代理的问题是它们非常渴望完成任务。这几乎就像一些小学生只想取悦老师一样。”有一些方法可以降低风险。公司可以使用传统软件来建立护栏，确保代理遵循严格规则，例如在将敏感帐户信息发送到新电子邮件地址之前始终要求回答安全问题。

本文咨询的专家都同意，代理应该经过严格的红队测试，即开发人员尽力攻击系统以在部署前发现漏洞的过程。但也有一些制衡力量。

公司希望部署有能力的代理，代理的权力越大，所受的护栏越少，它能承担的工作就越多。“安全性和实用性总是有一个权衡，”伊利诺伊大学厄巴纳-香槟分校计算机科学教授Bo Li说。而且充分的红队测试可能很昂贵。

防御者必须比攻击者花费更多资源，因为攻击者只需要发现一个漏洞，而防御者则试图发现并修补尽可能多的漏洞。当攻击者致力于像单字Instagram账号这样有价值的东西时，他们会投入资源寻找漏洞，因此防御者不得不花更多钱来保护该奖品。

随着人工智能模型的不断改进，强化防御实际上可能会变得更容易。尽管大型语言模型的概率性质意味着LLM代理始终容易受到某些形式的攻击，但更复杂的模型可能会将更改与奥巴马白宫帐户相关的电子邮件的尝试识别为可疑。

人工智能系统可用于代理红队测试，就像Anthropic的Glasswing项目参与者使用Mythos识别其软件中的漏洞一样。尽管如此，专家预计保护人工智能代理的问题在未来只会变得更加紧迫。

随着代理能力越来越强，采用它们的公司可能希望赋予它们更多权力，既可以用更少的人力提供更多服务，又可以避免被竞争对手甩在后面。在快速发展的AI世界中，仔细保护有风险的代理系统所需的时间似乎是一种不合理的延迟。

“每个人都想成为第一个做某事的人，只是没有仔细审查和红队测试就把东西推出去，”Jha说。“我认为这是一件非常危险的事情。”