语言模型隐藏状态轨迹动态可预测人类处理成本
原标题：Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal
速览
传统观点认为 surprisal 是预测人类语言处理成本的主要因素，但该指标丢弃了语义演化的方向信息。研究提出“轨迹外推误差”概念，通过拟合 Transformer 模型隐藏状态的线性轨迹来衡量偏离程度。该指标与 surprisal 正交，能独立预测自定步速阅读时间，尤其在花园路径句中效果显著。这一发现揭示了人类语言处理成本包含词级预测误差和对局部语义动量敏感性两个可分离组件。
AI 深度解读
AI 正在阅读原文并生成深度解读…（首次约 20–40 秒，之后秒开）
查看原文 →arxiv.org