赶在IPO之前,Anthropic发布了Claude Fable 5.2和Mythos 5.2。
两者采用同一底座,中心差异为安全权限:Fable 5.2面向通用客户,带有网络安全与生物板块的安全防护限制;Mythos 5.2仅向经审核的机构开放,解除相关限制以配套合规的网络安全、生命科学钻研。
新版本最大的升级在长任务上,尤其是机器人训练相关。同时Fable 5.2的token价格较Fable 5.1下降了20%。
并且Fable 5.2在审美、设计方面,和Fable 5.1相比,也有较大的改进。
Fable 5.2发布的半小时内,就有人用这个模型开发了一款画面十分精致的FPS游戏。
然而独立测评机构Artificial Analysis却发长文吐槽,称Fable 5.2的智能水平确实高了,token价格也确实便宜了,可每个任务的平均成本却改进了。最让Artificial Analysis难以接受的是,Fable 5.2比以前“话痨”太多了。
机器人控制RoboDojo Sim从27.6%到64.9%,直接暴涨2.35倍;图表识别从44.8%到73.4%;远程职业任务从17.9%到41.3%;科研终端从52.6%到74.6%;FrontierCode 2.0从32.4%到49.1%;带工具的HLE从65.6%到74.2%。
电脑操作(Computer Use)OSWorld 2.1只从83.5%到89.3%,改进不大;知识工作AA-Briefcase只从61.5%(ELO 1669)到66.1%(ELO 1785)。
换句话说,在那些耗时越长、工具越多的长任务上,Fable 5.2的涨幅很大。而那种一轮就能答完的题,几乎没什么增长。
那这个长任务到底有多长呢?
Anthropic给出了一组对照试验,他们用了1000个Fable 5.2的agent,花了将近30个小时,就完成了费马大定理的形式化证明。而此前一个未发布的版本,配上专用的“外挂”(定制化工具调度框架,purpose-built harness),外加钻研员全程引导,做完相同的工作,仍然需要11天。
并且Fable 5.2的action token,只用了那个未发布版本的三分之一。
换成1000个Opus 5.5的agent,结果显示,18小时完成26%,30小时27%,然后任务就卡住不动了。
除了数学推理这些显而易见的长任务,在Anthropic给出的性能表中所有的长任务基准里,RoboDojo Sim是涨幅最大的一项。博主@himanshu特地发文提醒,在Fable 5.2中,尤其要关注机器人和蛋白质设计这两项。
这个公开基准有42个仿真任务和18个真机任务,双臂,模型只能从摄像头画面里读环境。五个评分维度是泛化、记忆、精度、长程执行和开放词汇指令。
它考的是看着画面、记住前面、连续走完一串动作,如果过程中机器人“歪了”,那它必须得自己纠正。
Anthropic官方表示,它超过了“大多数专为控制机器人而建的AI阵地”,因为这些任务都是机器人们完全没有在现实世界中见到过的。
过去大家都觉得,机器人需要专门训练具身智能模型,以解决空间理解、动作规划等问题。而Fable 5.2是一个通用模型,任何一家小组都可以直接用它来训练机器人。这就相当于大幅降低了具身智能小组的训练门槛。
而在Anthropic最擅长的编程板块里,官方博客给出了这样一张图,分别是几个当下最强的大模型在FrontierCode 2.0基准里的跑分。
并且Anthropic还用Fable 5.2不同的effort程度来进行跑分,结果非常令人意外,甚至我一度怀疑是填表的时候写错了。