LLM裁判易被后续对话操纵，稳定性存疑
原标题：Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges
速览
研究揭示LLM作为裁判在基准测试中并非绝对稳定，决策后可通过后续对话被针对性挑战所逆转。这种交互性脆弱性会导致评估结果偏离人类偏好并扭曲排行榜。为此提出评估鲁棒性分数，强调需重视挑战下的稳定性。
AI 深度解读
AI 正在阅读原文并生成深度解读…（首次约 20–40 秒，之后秒开）
查看原文 →arxiv.org