BehaviorBench：基于行为轨迹建模真实世界用户决策

背景

在当前的决策支持系统（Decision-Support Systems）领域，一个核心需求是系统能够针对个体用户进行自适应调整。然而，针对这一问题的评估数据依然严重匮乏。现有的用户理解基准测试（User Understanding Benchmarks）大多依赖于模拟用户（Simulated Users）或模型生成的行为数据。

尽管近期研究已发出警告，指出基于模型的模拟可能会与人类行为产生系统性偏差（Systematic Divergence），但学术界和工业界仍缺乏基于真实世界行为轨迹（Real-World Behavioral Traces）的大规模评估框架。这种数据缺失限制了研究人员验证个性化决策模型在真实场景下的有效性，也阻碍了对“个性化方法是否优于通用方法”这一关键问题的实证研究。

核心内容

为了解决上述数据与评估缺口，研究团队引入了 BehaviorBench，这是一个专门用于评估基于真实世界行为轨迹的个性化决策建模的基准测试平台。

1. 数据来源与重构

BehaviorBench 的核心创新在于其数据来源的真实性。它从公开预测市场（Prediction Markets）和链上记录（On-Chain Records）中观察到的数据出发，重构了“钱包级别”（Wallet-level）的决策历史。这意味着每个数据点都对应一个真实的数字资产持有者及其在去中心化环境中的实际行为，而非人工模拟或大模型生成的虚构数据。

2. 双层任务架构

BehaviorBench 将重构后的数据组织为两个互补的任务层，分别考察用户对市场的信念和实际交易行为：

• 信念预测（Belief Prediction）： 旨在预测用户在市场中最终揭示的立场（Stance）以及其对该立场的信心水平（Confidence）。这反映了用户的认知状态和预期。
• 交易预测（Trade Prediction）： 旨在预测个体交易的方向（买入或卖出）和数量（Amount）。这反映了用户将信念转化为实际行动的经济决策。

3. 数据规模与结构

该基准测试覆盖了 2,000 个评估钱包，包含以下规模的数据实例：

• Belief 实例：141,445 个
• Trade 实例：1,485,972 个

为了确保评估的严谨性，检索式评估（Retrieval-based Evaluation）使用了不相交的支持池（Disjoint Support Pools），即用于检索参考证据的钱包与用于测试的钱包是互不重叠的，从而避免了数据泄露。

4. 评估实验设计

研究团队在四种不同的“历史界面”（History Interfaces）下，对前沿模型（Frontier Models）和开源权重模型（Open-Weight Generative Models）进行了评估。这四种界面代表了不同程度的个性化信息输入：

1. 无个性化（No Personalization）：不提供任何特定用户的历史数据。
2. 直接近期历史（Direct Recent History）：直接提供该用户最近的行为记录。
3. 生成的用户画像（Generated User Profiles）：利用模型根据历史数据生成抽象的用户画像摘要。
4. 检索的支持钱包证据（Retrieved Support-Wallet Evidence）：通过检索相似用户（支持钱包）的行为证据来辅助预测。

5. 主要发现

实验结果揭示了几个关键现象：

• 个性化的效果差异：个性化数据在提升“信念预测”任务上的效果比在“交易预测”任务上更为一致。这表明理解用户的“想法”比预测其“行动”更容易从个性化数据中获益，或者交易行为受更多随机噪声影响。
• 模型排名的不稳定性：模型在不同任务层（信念 vs. 交易）和不同评估指标下的排名会发生显著变化，说明没有单一的“全能”模型。
• 失败模式的多样性：不同的历史界面暴露了模型不同的失败模式。例如，某些界面可能导致过拟合，而另一些界面则可能因信息不足导致预测偏差。

关键要点

• 真实性优先：BehaviorBench 摒弃了模拟用户，转而使用来自预测市场和链上记录的真实行为轨迹，解决了现有基准测试中模型模拟与人类行为系统性偏差的问题。
• 双重评估维度：通过信念预测（认知/态度）和交易预测（行动/经济决策）两个互补层，全面评估用户对市场的理解和实际执行能力。
• 大规模真实数据：涵盖 2,000 个真实钱包，包含超过 14 万个信念实例和近 150 万个交易实例，提供了统计上显著的训练和评估基础。
• 个性化收益的非对称性：实验证明，个性化数据对信念预测的提升效果显著且稳定，但对交易预测的提升效果较弱且不稳定，提示研究者需针对不同类型的决策任务设计不同的建模策略。
• 接口决定成败：输入历史数据的方式（直接历史、生成画像、检索证据）深刻影响模型表现，并暴露出不同的错误类型。这表明“如何呈现用户历史”与“模型架构”同样重要。

意义与影响

BehaviorBench 的发布为个性化决策建模领域提供了一个关键的实证评估环境。其意义主要体现在以下几个方面：

1. 填补评估空白：它首次提供了一个基于大规模真实世界行为数据的标准化基准，使得研究人员能够客观地衡量个性化模型在真实场景下的性能，而非仅在模拟环境中自嗨。
2. 验证个性化假设：通过对比无个性化与多种个性化界面，BehaviorBench 直接回答了“个性化方法能否利用真实世界行为证据”这一核心问题。结果显示，虽然个性化有效，但其效果并非万能，且高度依赖于任务类型。
3. 指导模型开发：研究发现模型排名随任务变化，且不同界面暴露不同失败模式，这为未来开发更鲁棒的个性化推荐系统和决策支持工具提供了具体方向。例如，开发者可能需要针对“交易预测”开发专门处理噪声的模型，或优化“用户画像生成”以减少信息失真。
4. 促进去中心化金融（DeFi）与预测市场研究：由于数据源自链上记录，BehaviorBench 也为理解去中心化环境中的用户行为模式、市场情绪传导机制提供了新的量化工具。

总之，BehaviorBench 不仅是一个数据集或基准测试，更是一种方法论的推进，它强调了在构建智能决策系统时，必须正视真实人类行为的复杂性，并谨慎对待模拟数据与真实数据之间的鸿沟。