Agnost AI 发布：从代理对话中提取用户反馈

背景

随着 AI Agent 在生产环境中的广泛应用，开发者面临一个典型困境：单元测试和评估（evals）可以通过，但实际生产中的对话仍然频繁出现失败——例如工作流中断、重复重试、用户摩擦等。这些失败信息往往隐藏在真实的对话日志中，难以被系统性地捕获和分析。YC S26 批次支持的 Agnost AI 正是为了解决这一问题而生：从 Agent 的真实对话中提取用户反馈，定位被遗漏的失败模式，并自动转化为团队可审查的改进方案。

核心内容

Agnost AI 是一款专注于 AI Agent 生产环境可观测性和持续改进的工具。其核心理念是：你的 evals 通过了，但生产环境依然失败。Agnost 通过读取真实的 Agent 对话（支持任何 LLM 和框架，2 分钟配置，原生兼容 OpenTelemetry），自动生成与产品相关的失败分类——例如工作流断裂、重复重试、设置摩擦、流失风险等。它不仅能检测失败，还能将失败指标、意图信号、情绪分析等提炼为可操作的改进项，甚至可以直接自动生成 Pull Request（PR）来修复 bug。用户还可以通过自然语言查询对话数据。

产品提供三个定价层级：

• Starter（免费）：每月最多 1000 条消息，数据保留 7 天，适合快速验证。
• Pro：每月最多 100,000 条消息，数据保留 90 天，优先支持，创始人 Slack 频道，适合增长中的团队。
• Enterprise：自定义数据保留、审计日志、自定义 SLA/SLO、自定义改进工作流、优先功能请求、创始人 Slack 频道及无限时间与创始人沟通，适合大规模运行 Agent 的组织。

Agnost AI 已与 MCP Toolbox for Databases 等工具集成，被用户评价为“让 Agent 变得更好”“发现了我们从未意识到的用户需求”“在对话中发现 bug 并连夜修复”。

关键要点

• 核心痛点：生产环境的对话失败常被 evals 漏掉，传统监控无法自动提取深层原因。
• 产品定位：从真实对话中提取意图、信号和失败模式，直接驱动 Agent 改进。
• 技术特性：与任何 LLM 和框架兼容，2 分钟配置，基于 OpenTelemetry 原生实现。
• 主要功能：
  • 意图与情绪信号提取
  • 自动 Agent 改进建议（甚至自动生成 PR）
  • 失败检测与自动解决方案
  • 自然语言数据查询
• 定价模式：免费试用后按消息量分级，企业版提供定制化支持。
• 用户案例：多位创始人和技术负责人反馈 Agnost 帮助他们发现了隐藏的用户需求、提升了会议预约转化率、自动化修复了对话中的 bug。

意义与影响

Agnost AI 的推出反映了 AI Agent 开发从“功能测试”向“生产级可观测性与持续改进”的转变。对于正在规模化部署 Agent 的团队，传统日志分析难以直接转化为产品改进。Agnost 通过自动化的失败分类、意图提取和修复建议，降低了从对话数据中挖掘洞见的门槛，甚至实现了“修复即代码”。这种模式可能成为未来 Agent 基础设施的标准组件——如同可观测性已是后端服务的标配一样。对于 YC 生态而言，S26 批次出现这样的工具，也显示出投资者对 Agent 中间件和运维层创新的持续关注。