每百万Token的定价毫无意义

背景

在AI应用快速普及的当下，企业开发者面临一个现实问题：API账单金额可能远超预期。许多团队在模型选型时，习惯性地依赖“每百万token价格”这一指标，认为价格低就意味着成本低。然而，这一逻辑存在严重缺陷。不同模型在token切分方式、推理效率以及实际任务完成成本上存在巨大差异，导致“每百万token价格”几乎不具备可比性，甚至可能误导决策，最终让企业在支付更高费用的同时获得更差的性能。

核心内容

“每百万token价格”是一个意义不大的指标。原因有三：

1. token化方式不同，无法直接比较。 每个前沿实验室都有自己的tokenizer，决定了同一段文本会被切分成多少token。例如，本文前面所有内容用GPT-4o会切成160个token，而用GPT-4（1106-preview）则需200个token。甚至同一实验室（如OpenAI）内部的不同模型，按token计价也无法直接比较。不同实验室之间，由于tokenizer不断调整（如Anthropic近期修改tokenizer导致Claude对同一文本多切了30%的token），引入了难以衡量的误差。

2. token效率差异极大。 即使忽略tokenizer的影响，另一个关键因素是：每多用一个token能带来多少实际价值。如果AI用于严肃工作，大部分token消耗实际上花在了“思考”过程上（即隐式的思维链），这些token与可见的输出token按相同费率计费。思维链的长度在很大程度上决定了总成本，且变动剧烈。

3. 任务级成本才是真正指标。 原文选取了美国前沿实验室和部分中国实验室的最强模型，参考了Artificial Analysis基准测试——该测试不仅衡量模型能力，还记录完成每个任务的实际计费。数据显示：

   • GPT-5.5名义上比Claude Opus 4.8更贵，但每个任务的成本却几乎是后者的一半。
   • GLM-5.2虽然每token价格远低于GPT（3.57倍/5.68倍）和Claude（3.57倍/6.82倍），但其每个任务的成本并未成比例降低，说明token效率低于西方前沿模型。
   • Sonnet 5表现令人困惑：性能不如Opus 4.8，却因token效率极低导致每个任务成本更高。原文猜测这可能是Anthropic的一种策略——用较低的标价吸引用户使用效率更差的模型，从而抬高实际账单。
   • DeepSeek V4 Pro是性价比最突出的异常值：虽然智力基准得分明显较低，但每个任务成本极低。
   • Fable 5（带有安全限制的Mythos）相比GPT-5.5价格提高了3倍多，但性能提升有限。

综上，原文认为“每百万token价格”作为成本指标毫无意义。如果不考虑实际每个任务的花费，就会做出更差的模型选择，最终以更高价格获得更差性能。

关键要点

• 每百万token价格不具备跨模型、跨实验室的可比性，因为不同tokenizer会导致同一输入切分出的token数量差异显著，且各实验室频繁调整专有tokenizer。
• 同一实验室内部的不同模型，每token价格也无法直接比较，如OpenAI的GPT-4o与GPT-4（1106-preview）对同一文本的token数不同。
• token效率（即每个token带来的实际能力）是影响真实成本的关键因素，思维链等隐式token消耗量波动极大，且按相同费率计费。
• 任务级成本（cost per task）才是更有意义的指标，它综合了token化差异和效率差异。
• 性价比异常案例：
  • GPT-5.5名义上更贵，但任务成本低于Claude Opus 4.8。
  • GLM-5.2价格极低，但任务成本未成比例下降，表明token效率低于西方模型。
  • Sonnet 5性能差且任务成本高，疑似策略性误导。
  • DeepSeek V4 Pro任务成本极低，是性价比突出的选择。
  • Fable 5价格大幅上涨但性能提升有限。
• 选择模型时不应只看标价，必须评估实际完成任务所需的总费用，否则可能导致“多花钱反而效果差”的结果。

意义与影响

该分析揭示了当前AI模型定价体系中的一个普遍误区：开发者往往被“每百万token价格”这个简单数字吸引，而忽略了隐性的成本变异。这一发现对行业有重要启示：

• 对企业决策者：应当建立基于实际任务成本（如每完成一次推理请求的总费用）的评估体系，而不是依赖token单价。这对于成本敏感的大规模应用尤其关键，错误的选型可能导致预算失控。
• 对模型供应商：纯粹降低token单价可能并非真正的竞争力，提升token效率（即在更少token下完成更多有效工作）才是降低用户总成本的关键。Anthropic调整tokenizer导致成本增加，以及Sonnet 5的低效率，都可能损害用户信任。
• 对开发者工具生态：类似Artificial Analysis的基准测试（同时提供性能评分和任务成本）应成为行业标准，帮助开发者在性能和成本之间做出明智权衡。
• 长远来看：随着思维链、推理时计算等技术广泛应用，token消耗的波动性将进一步加剧，用户需要更透明的成本核算方式，而“每百万token价格”可能彻底失去参考价值。透明、以任务为导向的定价或评估方式将是未来的方向。