无需隐藏提示词！仅通过“呈现层面”的修改即可操纵 AI 同行评审

来源：arXiv cs.CL (2026) 标题：No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions

背景

随着由 AI 生成的评审意见从实验性工具逐渐融入正式的同行评审基础设施，学术界和工业界对 AI 评审系统鲁棒性的关注主要集中在显式攻击上，例如隐藏指令（hidden instructions）和提示注入（prompt injection）。这类攻击通常涉及在文本中嵌入不可见的字符或恶意指令，试图直接欺骗模型。

然而，本研究指出了一种更难以检测、且更具政策相关性的失败模式：攻击者无需使用隐藏文本，无需进行提示注入，也无需改变论文的方法、实验、图表、公式、证明或数值结果。攻击者仅对“呈现层面”（presentation-level）的内容进行修改，包括摘要、贡献框架、相关工作、讨论部分以及叙事结构。这种攻击方式被称为“对抗性重组”（adversarial repackaging），它利用 AI 评审器的反馈，在保持科学证据不变的前提下，搜索最优的呈现层修改方案。

核心内容

本研究通过构建一个闭环攻击框架，深入探讨了仅通过调整论文呈现方式对主流 AI 评审器产生的影响。研究团队引入了“对抗性重组”概念，即在不改变任何实质科学内容（如数据、代码、实验设置）的情况下，仅通过优化文本的表达方式、逻辑叙事和结构安排来操纵 AI 评审器的评分。

攻击方法与实验设置

研究团队在三个主流 AI 评审器上进行了测试。攻击过程是一个闭环系统：

1. 初始状态：提交一篇原始论文。
2. 反馈获取：获取 AI 评审器的初始评分和意见。
3. 优化搜索：利用 AI 辅助，针对评审意见中的弱点，仅修改呈现层面内容（如重写摘要以突出贡献、调整相关工作以增强对比、扩展讨论部分以澄清局限性等）。
4. 迭代改进：重复上述过程，直到评分达到预期或收敛。

主要发现

• 高成功率与显著增益：对抗性重组在三个主流 AI 评审器上实现了 75.1% 的攻击成功率，平均评分提升 +1.21/10 分。
• 非普通润色：这种评分提升不能简单归因于普通的语言润色或语法修正。
• 策略差异：
  • 深层策略有效：改变评审器对论文解读方式的策略，如“相关工作重新定位”（将本文工作置于更有利的对比语境）和“分析性讨论扩展”（深入解释局限性而非简单承认），显著优于表面编辑。
  • 表面策略无效：局部的文字润色、表格格式调整、算法框美化等表面编辑效果有限。

深层结构失效模式分析

研究揭示了 AI 评审器存在的两个更深层次的结构性失效模式：

1. 易被“印象”而非“说服”：

   • AI 评审器更容易被“展示优势”所打动，而非被“消除劣势”所说服。
   • 可靠地突出论文的优势（如通过更清晰的贡献陈述）能稳定提升感知价值。
   • 相反，试图通过文字游戏来“溶解”或淡化弱点的尝试往往会适得其反，导致评分下降。

2. 混淆“呈现解决”与“实际解决”：

   • AI 评审器容易将“看起来像是在解决某个局限性”误解为“实际上已经解决了该局限性”。
   • 这使得相同的、未改变的科学证据可以被重新解读为更强的科学贡献。例如，通过调整叙事结构，一个未解决的实验缺陷可能被描述为“未来工作的方向”，从而在评审器眼中转化为一种诚实且前瞻性的优势，而非缺陷。

关键要点

• 攻击隐蔽性强：无需隐藏文本或提示注入，仅通过修改摘要、贡献框架、相关工作、讨论和叙事结构即可操纵 AI 评审。
• 攻击效率高：在三个主流 AI 评审器上，对抗性重组攻击成功率达 75.1%，平均评分提升 1.21 分（满分 10 分）。
• 非语言润色效应：评分提升源于对评审器认知框架的操纵，而非简单的语言质量改善。
• 深层策略优于表面策略：改变评审器解读论文的方式（如相关工作定位、讨论深度）比局部润色、格式调整更有效。
• AI 评审器的认知偏差：
  • AI 更易被“展示优势”所影响，而非被“消除劣势”所说服。
  • AI 难以区分“声称已解决局限性”与“实际已解决局限性”，允许未改变的证据被重新解释为更强的贡献。
• 风险本质转变：部署风险不仅来自恶意的隐藏指令，更在于“论文呈现”本身已成为一个可被优化的攻击面。
• 开源基准：研究团队发布了一个无污染（contamination-free）的滚动基准测试和攻击框架，用于测试 AI 评审器在仅进行呈现层编辑时是否仍能锚定于科学内容。

意义与影响

这项研究对当前 AI 辅助同行评审系统的可信度提出了严峻挑战。它表明，即使在没有恶意代码注入或隐藏指令的情况下，AI 评审系统也极易受到“呈现层面”操纵的影响。

1. 对学术出版的影响：如果 AI 评审器被广泛用于初审或辅助决策，研究人员可能通过优化论文写作风格而非提升科学质量来获得更高评分。这将导致“写作好”比“研究好”更容易获得认可，扭曲学术评价机制。
2. 对 AI 模型设计的启示：当前 AI 评审模型缺乏对“形式”与“实质”的严格区分能力。未来的模型需要更强的机制来验证科学证据与陈述之间的一致性，而不仅仅是评估文本的流畅性或逻辑性。
3. 政策与治理建议：期刊和会议在采用 AI 评审工具时，必须意识到“呈现优化”作为一种攻击向量。可能需要引入人工复核机制，特别关注那些评分显著提升但科学内容无实质变化的论文，或开发专门检测“对抗性重组”的工具。
4. 研究公平性：该研究揭示的失效模式可能导致资源充足、写作能力强的团队更容易利用 AI 评审系统的弱点，而科学贡献扎实但写作能力较弱的团队可能处于不利地位，加剧学术不平等。

总之，这项研究警示我们，AI 同行评审的鲁棒性问题不仅限于对抗性攻击，更在于模型本身对“呈现”与“实质”之间关系的理解存在根本性缺陷。必须重新审视 AI 在科学评价中的角色，并开发更严格的验证机制。