STOCKTAKE基准：LLM智能体知行差距的公平测量
原标题：STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle
速览
STOCKTAKE是一个26周供应链补货基准，基于部分可观测马尔可夫决策过程设计，使公平参考策略可计算。它能分别测量智能体对隐藏状态的感知延迟和行动决策质量。测试显示，顶级模型虽能快速检测故障，但技能得分差异大，部分模型甚至低于无症状基线，揭示了“知而不行”与“行而过度”两种失败模式。
AI 深度解读
AI 正在阅读原文并生成深度解读…（首次约 20–40 秒，之后秒开）
查看原文 →arxiv.org