AI 见闻
精选· 重要性 5/5

Anthropic发布Claude Fable 5与Mythos 5:最强模型兼顾安全与性能

Hacker News (AI)··Philpax·约 8 分钟阅读
另有 1 个来源讨论此事件Hacker News 2528
中文导读

Anthropic推出Claude Fable 5和Mythos 5,这是其迄今最强大的AI模型,在软件工程、科学研究和视觉等领域达到领先水平,同时通过保守的安全措施降低滥用风险。

Claude Fable 5 和 Claude Mythos 5今天,我们推出了 Claude Fable 5:一个 Mythos 级别的模型,我们已使其安全适用于一般用途。Fable 5 的能力超过了我们以往公开发布的任何模型。

在几乎所有测试的 AI 能力基准上,它都达到了最先进水平,在软件工程、知识工作、视觉、科学研究以及许多其他领域表现出色。任务越长、越复杂,Fable 5 相对于我们其他模型的领先优势就越大。发布如此强大的模型是有风险的。

如果没有安全措施,Fable 5 在网络安全等领域的能力可能被滥用,造成严重损害。因此,我们为该模型配备了安全措施:对某些主题的查询将转而由我们次强的模型 Claude Opus 4 来回答。

为了既安全又快速地发布模型,我们对这些安全措施进行了保守的调优——它们有时会误伤无害的请求,但平均触发率低于 5% 的会话。随着未来几个月更有能力的模型到来,我们正在努力改进安全措施并尽快减少误报。

对于一小部分网络防御者和基础设施提供商,我们还推出了 Claude Mythos 5。它与 Fable 5 是同一个底层模型,但在某些领域解除了安全限制。

Mythos 5 最初将通过 Project Glasswing 与美国政府合作部署,作为 Claude Mythos Preview 的升级版。它拥有世界上所有模型中最强的网络安全能力。很快,我们打算通过更广泛的可信访问计划扩大 Mythos 5 的访问范围。

像 Fable 5 和 Mythos 5 这样的模型有能力为世界带来深远的好处。我们在 Project Glasswing 中已经看到了这一点——该模型帮助网络防御者保护了至关重要的软件。在生命科学研究中也是如此——模型提出了新颖的假设并加速了新疗法的开发。

Fable 5 和 Mythos 5 的定价为每百万输入 token 10 美元,每百万输出 token 50 美元,不到 Claude Mythos Preview 价格的一半。

今天的联合发布是我们朝着尽可能快、安全地为尽可能多的用户提供先进 AI 能力的目标迈出的又一步。评估 Claude Fable 5 和 Claude Mythos 5下表比较了 Fable 5 和 Mythos 5 与其他领先模型的能力。

Fable 5 和 Mythos 5 可以比之前的任何 Claude 模型更长时间地自主工作。下面我们讨论这些技能如何应用于软件工程,并涵盖模型在知识工作、视觉、记忆和生命科学研究方面的改进能力。

软件工程。

在早期测试中,Stripe 报告称 Fable 5 将数月的工程工作压缩到了几天。在一个 5000 万行的 Ruby 代码库中,该模型在一天内完成了代码库范围的迁移,而如果手工完成,整个团队需要两个多月。

Fable 5 也比过去的 Claude 模型更节省 token:在 Cognition 的 FrontierCode 评估中(该评估测试模型能否通过困难的编码任务并满足高质量生产代码库的标准),Fable 5 在前沿模型中得分最高,即使在中等努力水平下也是如此。

知识工作。Fable 5 在复杂分析任务上表现出色。在 Hebbia 的高级推理金融基准中,Fable 5 在所有模型中得分最高,在基于文档的推理、图表和表格解释以及问题解决方面取得了显著进步。

IMC 指出,Fable 5 几乎全面通过了他们的交易分析评估,包括事实查找、概念推理、根本原因分析和期望值分析。视觉。Fable 5 是涉及视觉任务的最新最先进模型。

它可以从详细的科学图表中提取精确数字,并执行复杂的基于视觉的任务,例如仅从屏幕截图重建 Web 应用的源代码。

它还需要更少的辅助工具:例如,之前的 Claude 模型即使配备了额外有用工具的辅助框架,也难以玩好《宝可梦 火红》,但 Fable 5 仅用最小的、纯视觉的辅助框架就击败了 FireRed。

记忆与长上下文。Fable 5 能在长期运行的任务中专注于数百万个 token,并利用自己的笔记改进输出。当我们让模型玩卡牌构建游戏《杀戮尖塔》时,给予它持久化的基于文件的记忆,其性能提升幅度是 Opus 4 的三倍;

Fable 5 进入游戏最终幕的次数也增加了三倍。药物设计:使用 Mythos 5,我们的内部蛋白质设计专家将药物设计过程的某些方面加速了约十倍。

在一个例子中,他们发现 Mythos 5 在配备蛋白质设计和生物信息学工具但无人协助的情况下,能够与熟练的人类操作员匹敌甚至超越。在此过程中,该模型执行了通常由科学家完成的所有任务:选择结合位点、选择并运行蛋白质设计工具,以及从失败中恢复。

这项研究的 14 个蛋白质靶点中有 9 个(如下所示)产生了我们目前正在研究的强候选药物设计。分子生物学中的新颖假设。Mythos 5 是我们第一个能够持续产生新颖、令人信服的科学假设的模型。

在与 Opus 级别模型的盲测对比中,我们的科学家约 80% 的情况下更偏好 Mythos 的分子生物学假设,并将其中几个推进到实验评估。与此同时,一个 Mythos 的假设——关于大肠杆菌蛋白的一种新机制——得到了另一个独立研究同一问题的实验室的证实。

基因组学的新研究。Mythos 5 在超过一周的自主工作中进行了新颖的基因组学研究。它汇集了涵盖 138 个动物物种的数百万个细胞的单细胞数据,并设计并训练了一个自定义机器学习模型,以识别即使在远亲生物中也执行相同角色的细胞。

仅凭高层次的人类输入,Mythos 5 训练的模型就超越了最近发表在《科学》杂志上的一个模型——尽管其规模小了 100 倍。我们计划在未来几个月内发布这些结果。对齐。

在我们的自动对齐评估中,我们发现 Mythos 5 的失调行为水平(包括模型采取的欺骗等失调行为,以及用户滥用模型的配合行为)较低,与 Opus 4 相似。由于它们是同一个底层模型,Fable 5 的对齐水平将类似。

该评估的完整描述以及一套详细的其他安全和能力测试,均包含在模型的系统卡中。Claude Fable 5 的早期反馈获得早期访问权限的客户在 Fable 5 上进行了自己的测试。

以下是用他们自己的话精选的所见所闻:Claude Fable 5 是 CursorBench 上最先进的模型。它开启了一类早期模型无法触及的长期问题。

Claude Fable 5 对 GitHub 服务的开发者来说是一个真正的进步。在我们的早期测试中,它承担了复杂、长期的编码任务,其自主性和可靠性超过了之前的基准。

但最让我们兴奋的是它指出的方向:一个开发者可以将越来越雄心勃勃的工作交给智能体,并信任整个软件生命周期中的结果。这是我们有机会测试的所有 Claude 模型中最强的结果。Claude Fable 5 在智能体编码和原型设计方面迈出了明显的一步。

Claude Fable 5 的推理能力明显超越了 Opus 4。它达到了高级研究科学家的水平——选择方向、分配资源、摒弃错误信念,并产生新颖的第一性原理输出。Claude Fable 5 理解构建者的意图,而不仅仅是他们输入的内容。

那些需要一个人花几周时间构建的应用,现在可以在更短时间内完成。

原文出处
Claude Fable 5

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。

相关阅读