通过谓词替换黑盒测试LLM思维链前提依赖的新方法
原标题：Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution
速览
该研究引入干预性接地审计，通过替换前提中的目标谓词来黑盒测试LLM推理链是否真正依赖前提。在ProntoQA基准上，GPT-4o达到F1=0.806，显著优于基线。还发现66%的正确答案中隐藏着“正确但推理错误”的信号。
AI 深度解读
AI 正在阅读原文并生成深度解读…（首次约 20–40 秒，之后秒开）
查看原文 →arxiv.org