标题：Is Grep All You Need? How Agent Harnesses Reshape Agentic Search

来源：Hacker News / arXiv (2026年5月14日提交)

背景

随着大型语言模型（LLM）代理（Agents）技术的飞速发展，复杂的自动化工作流已成为现实。在这些工作流中，模型能够自主检索信息、调用工具，并在大规模语料库中进行推理，从而代表用户完成任务。检索增强生成（RAG）技术在这一过程中被广泛采用，尤其是在代理搜索系统（Agentic Search Systems）中。

然而，尽管 RAG 的应用日益普及，现有的学术文献缺乏对“检索策略选择”与“代理架构及工具调用范式”之间相互作用进行的系统性比较。特别是在代理循环（Agent Loops）中，有两个重要的实践维度尚未得到充分探索：

1. 工具输出是如何呈现给模型的？
2. 当搜索必须应对周围大量无关文本时，性能会发生怎样的变化？

这篇论文报告了一项实证研究，旨在填补这一空白，通过两个实验深入探讨检索策略、代理工具链（Harnesses）以及上下文干扰对代理搜索性能的影响。

核心内容

本研究由两个主要实验组成，分别评估了不同的检索技术和代理工具链的表现。

实验 1：Grep 与向量检索的对比

实验 1 在一个包含 116 个问题的样本集（来自 LongMemEval）上，对比了两种检索策略：Grep（基于字符串匹配的传统搜索）和 向量检索（Vector Retrieval，基于语义相似度的搜索）。

研究使用了多种代理工具链（Agent Harnesses）进行对比：

• 自定义代理工具链：Chronos。
• 提供商原生命令行界面（CLI）工具链：Claude Code、Codex 和 Gemini CLI。

此外，实验还区分了两种工具结果呈现方式：

1. 内联工具结果（Inline tool results）：直接嵌入在对话流中。
2. 基于文件的工具结果（File-based tool results）：模型单独读取的文件内容。

实验结果发现： 在 Chronos 和各大提供商的 CLI 工具链中，Grep 通常比向量检索产生更高的准确率。然而，整体得分仍然强烈依赖于所使用的具体工具链（Harness）和工具调用风格，即使底层的对话数据完全相同。这意味着，除了检索算法本身，工具链的实现细节对最终性能有巨大影响。

实验 2：检索策略与上下文干扰的鲁棒性

实验 2 旨在测试检索策略在噪声环境下的表现。研究对比了 仅使用 Grep 和 仅使用向量检索 两种模式，并逐步混合进更多不相关的对话历史。

• 设置：每个查询都被嵌入在越来越多的干扰材料中，这些材料与查询真正相关的段落混杂在一起。
• 目的：模拟真实场景中，代理需要处理大量无关上下文的情况，评估不同检索策略在“信噪比”降低时的鲁棒性。

虽然摘要未详细列出实验 2 的具体数值结果，但其核心逻辑在于揭示当搜索必须应对更多无关周围文本时，不同检索策略的性能变化趋势，以及工具链在此类压力测试下的表现差异。

关键要点

• Grep 的意外优势：在实证研究中，传统的基于字符串匹配的 Grep 检索在准确率上普遍优于基于语义的向量检索。这挑战了“语义检索一定更智能”的固有假设，表明在特定任务或数据分布下，精确匹配可能更有效。
• 工具链（Harness）的关键作用：代理的最终性能不仅取决于检索算法，还高度依赖于所使用的代理工具链（如 Chronos, Claude Code, Codex, Gemini CLI）以及工具结果的呈现方式（内联 vs. 文件读取）。即使底层数据相同，不同的工具链实现会导致显著的性能差异。
• 上下文干扰的影响：随着无关对话历史的增加，代理搜索面临更大的挑战。实验设计专门用于量化这种干扰对检索策略（Grep vs. Vector）的影响，强调了在复杂工作流中处理噪声上下文的重要性。
• 缺乏系统性比较：现有文献缺乏对检索策略、代理架构和工具调用范式三者交互作用的系统研究，本文填补了这一空白，提供了宝贵的实证数据。

意义与影响

这项研究对 AI 代理系统的开发和优化具有重要的指导意义：

1. 重新评估检索策略的选择：开发者不应盲目追求复杂的向量检索。在某些场景下，简单、高效的 Grep 可能提供更稳定、更准确的结果。选择检索策略时应结合具体任务类型、数据特征以及上下文结构进行实证评估。
2. 重视工具链工程：代理系统的性能瓶颈可能不在于模型本身或检索算法，而在于工具链的实现细节。优化工具结果的呈现方式（例如，是内联嵌入还是作为独立文件读取）可以显著提升代理的表现。
3. 增强系统的鲁棒性：在构建实际应用的代理系统时，必须考虑上下文噪声的影响。研究结果提示我们需要设计更健壮的机制，以帮助代理在大量无关信息中精准定位关键内容。
4. 推动标准化评估：该研究强调了建立统一基准（如 LongMemEval）和标准化评估方法的重要性，以便在不同代理架构和工具链之间进行公平、系统的比较。

总之，这篇论文提醒我们，在追求更强大的 LLM 代理时，简单的技术（如 Grep）和工程细节（如工具链设计）往往被低估，但它们对最终性能有着决定性的影响。