Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters
AI 深度解读
背景
传统上，预测系统（forecasters）的性能通过回测（backtesting）来评估：系统会被“回放”到一系列已经出结果的预测问题中，并在结果揭晓前给出概率。这种方法对于 LLM 型预测器存在严重的泄漏问题。第一，如果模型能够检索外部知识库，它可能接触到结果公布后的新闻报道——这本质上把预测变成了查答案。第二，随着新模型不断训练，原本对往年模型属于未来事件的问题，可能已经包含在今年模型的训练数据中。两种泄漏都让回测实际上在测试记忆（recall），却声称在测试预见（foresight）。
针对这一问题，本文提出 Hindcast 框架，它通过冻结历史信息源、严格截断时间线，关闭了这两条泄漏通道，从而对 LLM 预测能力进行更公正的评估。
核心内容
Hindcast 的核心思路是：评估一个模型时，假定它站在某个选定的过去时间点 $t_0$，并且该时间点之前不存在任何关于事件结果的信息——无论来自检索到的新闻，还是模型自身的训练数据。具体操作如下：
-
数据冻结：Hindcast 选取 Polymarket 预测市场上已经结算的赌约（prediction markets）作为测试集，同时将公共 Reddit 论坛的帖子历史冻结为一个快照（snapshot）。模型只能阅读该快照中发布时间早于 $t_0$ 的帖子。
-
历史截断：每个市场的 $t_0$ 根据该市场的问题截止时间单独设定（例如问题是在某月某日提出的，则将 $t_0$ 设为该日之前）。由于快照永不更新，即使未来模型能力增强，也可以使用新的市场再次运行评估，而不会“过时”。
-
双重评分：模型对每个事件给出的概率，一方面与真实发生的结果对比，另一方面与 Polymarket 在该 $t_0$ 时刻的市场价格对比——市场价格本质上是人类在同样历史信息下做出的预测。这样既评估模型本身的准确性，也评估其相对于人类共识的优劣。
-
关键发现：一旦泄漏被关闭，检索（retrieval）对大多数模型仍有帮助，但仅当 Reddit 帖子在事件发生前就讨论过该话题时才有效。如果 Reddit 存档中只有猜测（speculation），检索反而会降低预测性能。
关键要点
- 传统的回测方法存在两条信息泄漏通道：检索到的后见之明文章和模型训练数据中的时间偏差。
- Hindcast 通过“冻结快照 + 逐市场时间截断”同时关闭两条泄漏，使评估真正测量预见能力而非记忆能力。
- 使用 Polymarket 结算市场作为测试集，用 Reddit 历史快照作为唯一信息来源，严格限制模型只能读取 $t_0$ 之前的公开论坛内容。
- 评分标准包括：模型预测 vs. 真实结果，以及模型预测 vs. 人类（市场）在 $t_0$ 时刻给出的概率。
- 评估框架具有可扩展性：快照不变，新市场的预测任务可以随时添加，不会因为模型进步而失效。
- 实验表明：在信息充足（Reddit 提前有实质性讨论）时，检索能提升预测；在信息匮乏（只有猜测）时，检索会伤害性能——模型可能误用不可靠的源。
意义与影响
Hindcast 为 LLM 预测能力提供了一个更干净的基准测试方法。它揭示了当前回测中普遍被忽视的数据泄漏问题，并给出了实用的解决框架。这一工作对预测市场的自动化决策、AI 辅助判断以及未来 LLM 在真实世界不确定性下的评估都有直接参考价值。此外，它指出“检索”并非总是有益，模型的信息筛选能力可能比单纯的知识广度更重要。随着 LLM 持续迭代，采用类似 Hindcast 的时间冻结评估方式，有望成为衡量模型“前瞻性”的标准实践。