Show HN: 基于 RLM 的 AI Agent 追踪本地调试器 HALO

背景

随着基于大语言模型（LLM）的 AI Agent（智能体）在复杂任务中的广泛应用，如何高效地调试和优化这些 Agent 的行为成为了一个关键挑战。传统的调试方法往往依赖于通用的编程助手（如 Cursor 或 Claude Code）来分析执行日志，但这种方法存在显著局限性。

首先，Agent 的执行追踪（Traces）数据量极大且结构复杂，通用模型难以从中提取系统性的行为模式，容易陷入对个别错误案例的“过拟合”，而无法识别整体架构或逻辑层面的问题。其次，现有的调试工具缺乏针对 Agent 特有故障模式（如幻觉调用、拒绝循环等）的专业化分析能力。

为了解决这一痛点，inference.net 团队推出了 HALO。这是一个基于 RLM（Recursive Language Model，递归语言模型） 方法论构建的工具，旨在通过自动化、递归式地优化 Agent 的“Harness”（即控制 Agent 执行的环境和逻辑框架），实现 Agent 系统的自我改进。HALO 不仅提供了一个本地桌面应用，还包含核心的 Python 引擎和 CLI 工具，专门用于分析 Agent 执行追踪数据并生成修复建议。

核心内容

HALO 的核心设计理念是通过收集和分析 Agent 的执行追踪数据，自动识别失败模式并生成代码修复方案，从而形成一个闭环的自我优化系统。

1. HALO 的工作流程（The Core Loop）

HALO 的优化循环虽然概念简单，但效果显著，主要包含以下五个步骤：

1. 收集追踪数据：从 Agent Harness 中收集执行追踪（Execution Traces）。HALO 兼容 OpenTelemetry 标准，能够捕获详细的执行路径。
2. 引擎分析：将追踪数据输入到 HALO-RLM 引擎中。
3. 故障分解与报告：引擎对追踪数据进行分解，识别 Harness 执行过程中常见的失败模式，并生成一份包含发现结果的报告。
4. 代码生成与修复：将报告输入给编码 Agent（如 Cursor 或 Claude Code），由其生成针对 Harness 的代码修改建议并应用这些更改。
5. 重新部署与迭代：更新后的 Harness 被重新部署，收集新的追踪数据，循环继续，直到问题得到解决或性能达到预期。

2. 技术实现与安装

HALO 提供了多种使用方式，包括桌面应用、Python 包和命令行界面（CLI）。

• 桌面应用安装： 用户可以通过以下命令在 macOS、Linux 或 Windows 上安装 HALO 桌面应用：

  curl -fsSL https://inference.net/halo/install.sh | sh
  

  对于 macOS 用户，安装程序会下载经过签名和公证的 DMG 文件。用户也可以直接从 GitHub Releases 页面安装。

• Python 引擎安装： 开发者可以通过 PyPI 安装核心引擎：

  pip install halo-engine
  halo --help
  

• CLI 使用示例： HALO 使用标准的 OpenAI 环境变量进行认证。如果未设置 OPENAI_BASE_URL，默认使用 OpenAI 官方 API；否则可指向兼容 OpenAI 接口的其他提供商（如 OpenRouter）。

  export OPENAI_API_KEY=...
  # 可选：指向其他兼容提供商
  export OPENAI_BASE_URL=https://openrouter.ai/api/v1
  
  # 运行引擎分析追踪文件
  halo path_to_your_traces.jsonl -p "Diagnose errors you find and suggest fixes"
  

  支持通过 --base-url 和 -H 参数指定具体的 API 端点和 Header。

• 遥测数据（Telemetry）： HALO 默认不发送遥测数据。如果用户希望监控 HALO 自身的 LLM、工具和 Agent 活动，需显式启用 --telemetry 标志。启用后，数据可通过 CATALYST_OTLP_TOKEN 上传至 inference.net 的 Catalyst 平台，或保存为本地 JSONL 文件。

3. 基准测试与性能表现

HALO 在 AppWorld 基准测试中展示了其强大的优化能力。AppWorld 是一组评估 LLM 使用多应用服务（如 Spotify、Venmo、文件系统和电话联系人）能力的智能体任务。

测试针对 Gemini 3 Flash 和 Sonnet 4.6 两个模型进行了 Harness 优化迭代：

• 方法：使用 dev 集进行迭代优化，使用 test_normal 集验证改进是否源于过拟合。
• 发现的问题：HALO 引擎成功识别出 Harness 中的多种故障，包括幻觉工具调用、冗余参数、拒绝循环（Refusal Loops）以及语义正确性问题。这些问题都能直接映射到提示词（Prompt）的编辑上。
• 性能提升：
  • Gemini 3 Flash：
    • Dev SGC：从 36.8% 提升至 52.6%（+15.8 分）
    • Test Normal SGC：从 37.5% 提升至 48.2%（+10.7 分）
  • Sonnet 4.6：
    • Dev SGC：从 73.7% 提升至 89.5%（+15.8 分）
    • Test Normal SGC：从 62.5% 提升至 73.2%（+10.7 分）

这些结果表明，HALO 能够显著提升 Agent 在复杂多应用环境下的表现，且改进具有泛化能力，并非仅针对训练数据的过拟合。

4. 开发环境

对于本地开发，项目推荐使用 uv 进行依赖管理，使用 go-task 作为任务运行器。

git clone https://github.com/context-labs/HALO
cd HALO
task env:setup  # 安装 uv（如缺失），同步 venv，配置 git hooks

安装完成后，可通过 uv run halo ... 或激活虚拟环境后使用 halo 命令。

关键要点

• 专用而非通用：HALO 强调通用编程助手（如 Cursor）不适合直接分析 Agent 追踪数据，因为追踪数据过长且需要专门工具来识别系统性行为。HALO 采用专门的 RLM 形式来解决这一问题。
• 递归自我改进：HALO 的核心价值在于构建“递归自我改进的 Agent Harness”。它不仅仅是一个调试器，更是一个自动化优化框架，通过不断循环“分析-修复-部署”来提升 Agent 性能。
• 高流量环境优势：HALO 在生产环境中表现尤为出色。高流量环境产生的执行数据具有更高的方差，这恰恰是 HALO 识别复杂故障模式的最佳场景。
• 开源与可扩展：HALO 提供了 Python 包、CLI 和桌面应用，并开放了 GitHub 仓库。开发者可以通过 engine.main 中的四个入口点（Entry Points）灵活集成，平衡可观测性与代码简洁性。
• 兼容性强：支持 OpenTelemetry 追踪标准，兼容 OpenAI 及各类 OpenAI 兼容的 API 提供商，便于集成到现有的 AI 基础设施中。
• 实证效果显著：在 AppWorld 基准测试中，HALO 使 Gemini 3 Flash 和 Sonnet 4.6 的性能均有超过 10 分的显著提升，证明了其优化 Harness 的有效性。

意义与影响

HALO 的推出标志着 AI Agent 开发工具链的一个重要演进。它解决了当前 Agent 开发中“调试难、优化慢”的核心痛点，将原本需要大量人工经验的调试过程自动化、系统化。

1. 降低 Agent 开发门槛：通过自动识别故障模式并生成修复代码，HALO 使得开发者无需深入理解每一个底层错误即可优化 Agent 性能，加速了从原型到生产环境的部署周期。
2. 提升 Agent 可靠性：通过递归优化 Harness，HALO 能够发现并修复那些在