← 返回信息流
AI 资讯Hacker News·4 小时前

前沿模型真实价格:Token × 价格?

原标题:The real prices of frontier models. Tokens * Price, right?

速览

人工智能前沿模型的定价往往被简化为每百万Token的单价,但实际使用时,每个任务消耗的Token数量差异巨大,导致真实成本远非表面价格那么简单。这一现象提醒开发者和企业,在评估模型性价比时必须综合考虑Token用量与单价的乘积,而非仅看标价。文章质疑当前定价透明度,并呼吁行业建立更清晰的成本计算标准。

AI 深度解读

前沿模型的实际价格:Token × 价格,对吗?

背景

模型定价页面上通常只展示一个数字供你比较:每百万 token 的美元价格。把两个模型并列,一个看起来更便宜。但这种比较是破碎的——如果你用 AI 编码代理(coding agent)构建产品,这种破碎会向最昂贵的方向倾斜。问题的根源在于:价格是按 token 计算的,但“token”并不是一个固定的文本量:每个模型的 tokenizer 会将同一份文件切成不同数量的片段,而你按片段付费。以下是你账单上实际出现的数字。

核心内容

定价页面隐藏的数字

一个模型的费用由两个数字相乘得到:

费用 = (你的内容变成的 token 数) × (每个 token 的价格)

定价页面只向你展示第二个数字,并把第一个数字当作常数。但它不是常数。它是模型 tokenizer 的属性——tokenizer 负责将你的文本切分成模型实际计费的单元。两个模型可以宣传完全相同的“$5.00 / 1M 输入 token”,但处理同一段文字却给你不同的账单,因为其中一个模型把那段文字变成了更多的 token。

没有人公布“每单位内容的 token 数”,所以也没有人比较它。这就是整个幻觉所在。要看到真实价格,你必须测量 tokenizer,然后把它乘回去。

价格表隐藏的两个“地板”

价格表显示一个价格,却在下面隐藏了两层成本。两者都在下面测量,两者都会出现在你的账单上,但两者都不会出现在任何定价页面上。请记住这两个基准,因为它们是不同的比较,只有这样才能让数字对得上。

地板一:同标价牌下的隐形涨价。这是 Anthropic 的新 tokenizer 与其自身旧 tokenizer 的比较——同一供应商、同类对比。Claude Opus 4.6 和 Opus 4.8 携带完全相同的 $5.00 / $25.00 标价牌,但 4.8 搭载了更新的 tokenizer,它将相同的代码变成了大约 29–32% 更多的 token:TypeScript 增加 31%(从 898 到 1,178),Rust 增加 29%(从 1,019 到 1,312)。“相同价格,新模型”悄悄地让你多花大约 30%,而这一增加从未作为单独条目打印出来。

地板二:在你实际编写的语言上情况最糟。那个约 30% 是平均值。现在把新 Claude tokenizer 与市场上最精简的 tokenizer——GPT 的 o200k——在 TypeScript 上比较,而 TypeScript 正是 AI 编码代理生成的主要内容。差距是 73%(1,178 对 681 = 1.73 倍)。这是一个跨供应商的比较,Anthropic 从未声称与 GPT 的 token 数对等——所以把它看作放大器,而不是指控:正是它把抽象的“$/Mtok”变成了你具体工作负载上的实际损失。价格表无法向你展示这两个地板中的任何一个。

我们如何测量

我们取了 16 个真实样本——英文散文、一个 HTML 页面、JavaScript、Python、TypeScript 和 Rust 文件、JSON 工具 schema 和工具结果、中文聊天和散文、一段符号密集的文本,以及我们自己的实时 agent 系统提示——并在每个模型的真实 tokenizer 下逐一计数,按字节对字节。没有生成,没有账单估算:只有 token 计数。

  • Anthropic (Claude):通过 Anthropic 官方的 count_tokens 端点计数。这是权威的,与 Anthropic 计费时使用的计数相同。
  • OpenAI (GPT):通过 OpenAI 文档化的 o200k_base tokenizer 使用 tiktoken 计数。我们没有盲目信任最新模型:我们向 GPT-5.1、GPT-5.5 和 GPT-5.6 Sol 发送了真实的最小 API 调用,读取了实时的 usage token 计数,并用长减短的差值取消了请求框架的影响。这三个模型都与 o200k_base 完全匹配(比率 1.0000)。tokenizer 是经过验证的,而非假设。
  • Google (Gemini) 和 xAI (Grok):通过各自提供商的 token 计数端点计数。

我们使用 GPT 的 o200k 作为 1.00x 参考,每个跨供应商比率都读作“相对于 o200k 的 token 数”。它正是正确的标尺,因为它不会移动:o200k 已经冻结并公开文档化很长时间,所以它是一个稳定、可验证的基准——而 Claude 的 tokenizer 才是不断变化的部分。有两个模型我们刻意排除在比较表之外:DeepSeek 和 GLM。我们只对这两个模型有粗略的“字符数除以四”的估计,而不是真实的 tokenizer,而编造的数字正是本文要揭露的那种东西。它们要么被标注为估计值,要么根本不出现。

发现一:第一层地板,同标价牌下的隐形涨价

完整呈现地板一,这是数据集中最清晰的案例,因为价格表上没有任何变化——只有 tokenizer 变了。Claude Opus 4.6 和 Opus 4.8 共享完全相同的 $5.00 / $25.00 标价;4.8 只是搭载了更新的 tokenizer,并悄悄地用相同的代码收取更多费用。以下是新 tokenizer 与旧 tokenizer 在每个样本上的对比——每一行相同的字节数,同一供应商,在 Anthropic 自己的 count_tokens 端点上测量:

| 样本类型 |

查看原文 →playcode.io