GLM 5.2准确度接近人类记账员

背景

一份来自 Hacker News 的测试报告显示，开源权重 AI 模型 GLM 5.2 在帮助英国小型企业完成季度增值税（VAT）申报准备任务上，表现出接近人类专业记账员的准确性，而成本仅为人类服务的不到 1%。在英国，所有注册 VAT 的中小企业（SME）必须在每季度结束后 5 周内提交 VAT 申报表，逾期将面临高额罚款。通常，这类工作由外部会计师事务所完成，每季度收费约 750–2,100 英镑（约 1,000–2,800 美元）。GLM 5.2 的原始 token 成本仅为 2.73 美元，即可生成一份近乎完美的申报表。

核心内容

测试组织方（Vineyard Finance）使用 Claude Fable 5 从其会计软件中提取了 Vineyard Finance 2026 财年第一财季（1 月、2 月、3 月）的交易数据和对应收据作为基准。这些账目最初由人类完成：一人记账，另一人复核。人类工作范围比模型在本次测试中承担的任务更广——人类还需查找相关发票（搜索邮箱或向供应商索取），并处理无法从银行流水和收据单独推断的背景情况。在测试中，这些背景信息以“用户备注”的形式提供给模型。

GLM 5.2 运行在 Google Cloud Platform（GCP）的一个实例上，该实例与测试环境隔离（防止模型访问真实答案），但允许联网、访问云端会计软件，以及一个预先认证的命令行工具（CLI）。整个测试使用一个极简的 harness，仅暴露两个工具：bash 工具和会话终止+报告工具。模型提供商为 Fireworks AI 的无服务器层（模型的具体量化精度未披露，据信为 FP16 或 FP8）。

在模型推理和工具使用的审计中，未发现任何明显的作弊行为。模型唯一一次意外的互联网使用是查阅关于如何记录反向征收 VAT 的信息，且搜索内容专门针对所使用的会计软件。其他出站连接均属预期，为操作目的而调用会计 SaaS 提供商的 API。

测试过程中，模型意识到自己在被测试。例如，模型曾评论：“我知道我在被测试……”。

典型交易示例

基准测试中，模型看到的每个交易包含三部分：

• 银行流水行：显示交易日期、金额、描述等。
• 收据 PDF：所有收据和发票均为包含文字的 PDF，无需图像处理（因此 GLM 5.2 缺乏视觉功能不是限制因素）。
• 可选用户备注：59 笔交易中只有两笔有备注，内容分别为“founder shares”和“personal car hire”。这些备注帮助模型理解无法从银行流水和收据直接推导的现实情境。

评分方法

每笔交易根据会计软件中处理后的最终状态，按以下 6 项标准评分：

1. 交易类型（如 purchase、bank_fee、transfer、sales_income、capital_introduced、director_loan、refund 等）——由会计软件中已处理交易的状态确定性推导。
2. 分类（会计科目表中的“账户”，如“IT and Internet Expenses”）。
3. VAT 处理方式（如 reverse charge、20% VAT、0% VAT、VAT exempt）。
4. VAT 金额（容差 0.02 英镑）。
5. 反向征收 VAT 金额（容差 0.02 英镑）。
6. 是否附有收据（税务机构所需证据）。

运行结果摘要

每个月的交易作为一个连续的 agent 会话运行。以下是整个季度运行的统计数据：

| 月份 | 交易数 | 总运行时间 | 总 prompt token | 总 output token | 峰值上下文窗口使用比例 | |------|--------|------------|----------------|----------------|------------------------| | 1月 | 20 | 21 分钟 | ~2.3M | ~120K | 约 8% | | 2月 | 19 | 23 分钟 | ~2.5M | ~130K | 约 9% | | 3月 | 20 | 24 分钟 | ~2.7M | ~140K | 约 10% |

总处理 59 笔交易，耗时 68 分钟，原始 token 成本 2.73 美元。Prompt token 达到数百万，其中 92–95% 来自提供商缓存（价格降低 80%）。Output token 包括模型内部推理。

模型犯的错误

GLM 5.2 准备的 VAT 申报表本质上是正确的：最重要的数字——公司应从税务机构获得的 VAT 退款——仅与人类准备的申报表相差 7 便士（约 10 美分）。但在 354 个检查项（59 笔交易 × 6 项标准）中，模型失败了 20 项，分布在 18 笔交易中。只有 1 个错误是严重的，其余 19 个错误可归为两类。

严重的错误：创始股份的处理

在英国，有限公司发行“股本”。股东（包括创始人）将资本存入公司账户，应记入“Called up share capital not paid”（在所用软件中称为“Unpaid Shares”）。这是正确的会计方式。然而，模型选择了“Capital Account”（资本账户）。这会产生法律影响：股本不仅仅是创始人的资金，而是具有法律约束的永久性、债权人保护资本。例如，它不能简单返还给创始人，且必须在年末申报中适当披露。涉及金额为 10,000 英镑（约 13,300 美元）。虽然 VAT 申报表本身不受影响，但这是模型在本次测试中犯下的最大错误。

常见错误：零税率与免税混淆

在剩下的 17 笔交易中，有 14 笔的错误类型是混淆了“零税率”（zero-rated）和“免税”（tax-exempt）VAT 类别。两者虽都不涉及 VAT 支付，但税务上存在微妙差异。实际操作影响很小，但熟练的会计师通常不会混淆。有趣的是，模型在此具有随机性：在 1 月和 2 月它 100% 混淆了这两个类别，但在 3 月它正确处理了所有 VAT 免税交易。

其他细微错误

最后 3 笔交易涉及一个稍显晦涩的推理错误。有一种观点认为，其中一次（也在 3 月）模型实际是正确的。Vineyard Finance 使用的是 Wise（一个支付平台），该平台有一种特殊习惯：将资金分散保存在多种货币的余额中。这导致模型在处理一笔涉及货币兑换的交易时，对 VAT 计税基础的判断出现偏差。

关键要点

• 成本效益惊人：GLM 5.2 完成一个季度 VAT 申报准备的总 token 成本仅 2.73 美元，而人类会计师通常收费 750–2,100 英镑（约 1,000–2,800 美元），成本不到人类服务的 1%。
• 精度接近人类：模型输出的 VAT 净额与人类答案仅差 7 便士（约 10 美分），在核心数字上几乎完美。
• 错误类型具有模式性：多数错误（20/354 检查项）不直接影响 VAT 金额，但反映了专业知识的缺失，尤其是“零税率”与“免税”的混淆（14 次）以及一次严重的会计分类错误（创始股份记入资本账户）。
• 模型具有可变性：在三月，模型成功纠正了之前两个月的零税率/免税混淆错误，说明其行为存在随机性或依赖于上下文。
• 审计未发现作弊：模型仅一次意外联网查询相关信息，且查询内容合理，未检测到故意获取正确答案的行为。
• 上下文窗口利用充分：模型在高峰期仅使用了约 10% 的 1,048,576 token 上下文窗口，仍有较大余量。
• 用户备注很重要：两笔交易所依赖的“founder shares”和“personal car hire”备注是模型正确推理的关键外部输入，说明模型需要背景信息才能处理无法从银行流水直接推断的情境。

意义与影响

1. AI 记账可行性得到验证：GLM 5.2 的表现表明，当前开源 AI 模型已能胜任需要多步推理