BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation

背景

大语言模型（LLM）在实际应用中通常以多轮对话的形式部署。在对话的每一轮中，模型都会接收到新的证据，这些证据理应降低其对环境认知的不确定性。理性行动要求模型推断出支配环境的未观测变量，并随着证据的积累不断更新对这些变量的信念。然而，现有的绝大多数评估方法仅在单轮对话格式下对模型最后一轮的最终答案进行打分，完全忽视了对这一动态信念更新过程的考察。这就引出了一个核心问题：在多轮交互中，LLM 的信念更新轨迹究竟在多大程度上接近理性的贝叶斯推理者？

核心内容

为了回答上述问题，研究者提出了 BayesBench，这是一套专门用于探测多轮环境下 LLM 信念更新轨迹的模拟环境。该基准测试包含三个复杂度递增