AI指数报告:Claude Fable 5综合得分领先DeepSeek V4 Pro 12分,成本高百倍
速览
科技媒体The Decoder报道,Artificial Analysis新增6个行业指数测试,基于O*NET职业分类体系评估AI模型能力。Anthropic的Claude Fable 5在所有8项指标中均位列第一,Claude Opus 4.8紧随其后。成本方面,Claude Fable 5在战略与运营指数中每任务成本3.48美元,比DeepSeek V4 Pro max(0.03美元)高出百倍,但性能仅提升12分。开放权重模型中GLM-5.2表现突出,在5个行业指数中领先。
AI 深度解读
背景
2025年7月,随着大语言模型在垂直行业中的应用日益深入,业内对模型能力的评估不再仅依赖通用基准测试,而是转向更贴近实际业务场景的行业任务能力。科技媒体 The Decoder 于7月8日报道,分析机构 Artificial Analysis 新增了6个行业指数测试,旨在衡量模型在金融与会计、法律、医疗与医学、战略与运营、工程和经济学等领域的真实表现。该测试基于美国职业信息网络 O*NET 职业分类体系,按行业任务中技能出现频率分配权重,推出了包含8项指标的全新能力指数。Anthropic 的 Claude Fable 5 模型在全部指标中横扫榜单,位列第一,但其成本也引发了广泛关注。
核心内容
Artificial Analysis 于7月7日在 X 平台发布推文,公布了基于 O*NET 职业分类体系的6个行业指数测试结果。该测试覆盖金融与会计、法律、医疗与医学、战略与运营、工程和经济学共6个行业场景,每个场景按任务中技能出现频率赋予权重,最终形成8项能力指标。
在全部8项指标中,Anthropic 的 Claude Fable 5 模型(使用 Opus 4.8 作为备选模型)均位列第一。Claude Opus 4.8 (max) 在6项指标中排名第二,剩余2项的第二名由 OpenAI 的 GPT-5.5 (xhigh) 夺得。在开放权重模型阵营中,GLM-5.2 (max) 在6个行业指数中的5个中领先,其中在工程基准指数中得分为53分,排名第五,仅落后于 Claude Sonnet 5 (max) 和 GPT-5.5 (xhigh) 2分。
在成本方面,Claude Fable 5 在战略与运营指数中每项任务的成本为 3.48 美元,而 DeepSeek V4 Pro max 的成本仅为 0.03 美元,二者成本差距超过100倍。然而,Claude Fable 5 的性能仅比 DeepSeek V4 Pro max 高出12分(指数得分)。DeepSeek V4 Flash (max) 在所有6个指数上的任务完成成本均低于 0.04 美元,同时得分处于中游水平。
关键要点
- 行业指数测试:Artificial Analysis 基于 O*NET 职业分类体系,针对金融与会计、法律、医疗与医学、战略与运营、工程和经济学6个行业场景,按技能出现频率分配权重,推出8项能力指标。
- Claude Fable 5 全面领先:在所有8项指标中,Claude Fable 5(备选模型 Opus 4.8)均位列第一,表现最强。
- 第二名竞争格局:Claude Opus 4.8 (max) 获得6项第二,GPT-5.5 (xhigh) 获得剩余2项第二。
- 开放权重模型表现:GLM-5.2 (max) 在6个行业指数中的5个领先,在工程基准指数中排名第五(53分),仅落后第三名2分。
- 成本悬殊:Claude Fable 5 在战略与运营指数中每任务成本 3.48 美元,比 DeepSeek V4 Pro max(0.03 美元)高出100多倍,但性能仅高出12分。
- 高性价比选择:DeepSeek V4 Flash (max) 在所有6个指数上任务成本均低于 0.04 美元,得分处于中游,适合成本敏感场景。
意义与影响
本次行业指数测试的发布,标志着大语言模型评估从通用指标向垂直行业任务的实质性转变。O*NET 职业分类体系的引入,使测试结果更贴近实际工作场景,对企业在选择模型时的决策有直接参考价值。Claude Fable 5 的全面领先表明 Anthropic 在高端任务上的强大能力,但其高昂成本(每任务3.48美元)可能限制大规模部署,尤其对于预算有限的企业。相比之下,DeepSeek V4 Pro max 和 Flash 系列以极低成本提供中游性能,为成本敏感型应用提供了可行选择。这一对比凸显了当前大模型领域“性能与成本”之间的巨大权衡,未来行业可能进一步分化:高端场景依赖顶尖模型,而中低端场景则追求性价比。开放权重模型 GLM-5.2 的强劲表现也表明,开源社区在行业任务上正逐步缩小与闭源模型的差距。
