Comet引入Rubric与Pass@k科学评估驱动AI Skill演进
速览
开源项目Comet发布v0.4.0-beta.1，重构核心运行时为纯Node，并推出comet eval评估系统。该系统采用双Agent自动化测试，消耗超100亿Token，通过Rubric评分、Pass@k、Pass^k等学界指标对Skill进行基线对比评估，替代传统人工手感测试。Comet旨在打造生产级Agent Skill Harness平台，支持LangSmith/LangFuse集成，推动Agent评估从经验主义走向科学量化。
AI 深度解读
背景
Comet 是一个开源 Skill（技能）项目，最初于 2024 年 5 月底发布，旨在将 OpenSpec 和 Superpowers 的核心功能组合成一个工作流，通过 /comet 命令降低使用门槛。该项目在 GitHub 上迅速获得超过 2k Star，并受到抖音官方的邀请和推荐。随着 Skill 迭代加速，文档描述的场景变得复杂，传统人工测试方式（打包、体验）既耗时又消耗 Token，且难以评估新功能对历史功能的影响。开发者往往仅凭手感进行迭代，缺乏科学性。Comet 当时正处于将 Shell 脚本更换为 Node 运行时的关键时期（以解决 Windows 用户遇到的 Bash 兼容问题），核心脚本的变更需要极其谨慎的评估。基于这一契机，作者开始探索科学的 Skill 评估方法，最终在生产级环境中实现了评估流程，并将源代码开源在原始 Comet 仓库中。本次更新标志着 Comet 从原始 Spec Coding Skill 向 Workflow、Skill Creator、Skill Eval 的 Harness 平台转型。
核心内容
Comet v0.4.0-beta.1 是一次产品级变更，主要包括以下内容：
-
Comet Docs AI 原生官网上线：支持 MCP 接入官方文档，用户可通过 Agent 了解 Comet 的任何信息。
-
核心运行时重构：全面转化为纯 Node 运行，解决了 Windows 用户使用 Bash 脚本时遇到的障碍。
-
自动化双 Agent 测试：创新性地采用双 Agent 架构进行评测，消耗超过 100 亿 Token，详细对比了“无 Comet”、“Comet 0.3.9”、“Comet 0.4.0-beta.1”的性能。使用结构化 Rubric 评分、Pass@k、Pass^k 等业界科学指标评估 Skill 的优缺点。完整评估报告发布在 Comet 基线真实评估实验页面。
-
全新发布 comet eval：基于自动化双 Agent 评测的 Eval 系统，支持集成 LangSmith 和 LangFuse，也支持本地（Local）评测。用户可利用 comet eval 科学评估任意 Skill，并设置基线 Skill，以评估驱动 Skill 演进。
-
全新发布 comet dashboard：可在本地可视化 Comet 的任务进度，观察多个需求的执行情况。
-
全新发布 /comet-any：支持创建任意 Skill，包括全新自定义 Skill 和以 Comet 经典五阶段为骨架的增量调整。创建的 Skill 可复用 comet init 式的分发机制，分发到支持的所有 Coding 平台。（注：该功能为实验性，后续可能重构或删除）
-
更强大的意图识别机制：重构了意图识别，采用业界主流的槽位抽取技术，在 Benchmark 测试中识别性能大幅提升。
-
更稳定的 Workflow 基线：经过完整 Benchmark 评估，Comet v0.4.0-beta.1 在更换核心后，长程任务稳定性明显优于 0.3.9 基线。
-
更多的平台支持：新增 Antigravity 2.0、MimoCode、ZCode、Trae-CN 等平台。
-
更好用的 Hotfix 和 Tweak：Hotfix 和 Tweak 功能已进入生产可用阶段，Tweak 化身为更多 OpenSpec、更少 Superpowers 的路径，为轻量化需求提供选择。
-
可配置的语言跟随：
.config.yaml文件支持语言跟随设置。 -
与业界实践对比：发布了文档“Comet 与业界实践对照”，帮助了解 Comet 中的技术如何与海内外大厂对齐。
完整变更日志可在 Changelog - Comet Docs 查看。评估过程在 LangSmith 上的真实截图已附在原文中。
关键要点
- 核心运行时从 Shell 脚本切换到 Node，解决 Windows 兼容性，并以自动化双 Agent 评测确保变更后的稳定性。
- 引入生产级评估流程，使用 Rubric 评分、Pass@k、Pass^k 等科学指标，而非仅凭手感迭代。
- 评估系统（comet eval）支持 LangSmith 和 LangFuse 集成，也可本地运行，使得 Skill 开发可以基于基线对比持续优化。
- 新增多种功能：comet dashboard 可视化任务进度、/comet-any 支持自定义 Skill、更强大的意图识别、更多平台支持等。
- 强调长程任务稳定性和 Workflow 基线，经基准测试验证新版稳定性优于旧版。
- 项目希望将 OpenSpec 和 Superpowers 的组合方法论沉淀为骨架，并追踪长程任务 Skill 的 Harness 能力，推动 Agent 开发科学化。
意义与影响
Comet v0.4.0-beta.1 的发布标志着 AI Skill 开发从“手感驱动”向“科学评估驱动”的转变。通过在生产级环境中集成学术界的评分指标（Rubric、Pass@k、Pass^k），并利用自动化双 Agent 进行大规模测试（消耗超 100 亿 Token），Comet 展示了如何系统化地量化 Skill 的性能、稳定性和回归风险。这种方法论与 2025 年底海内外大厂提出的“Agent 下半场”概念一致——即 Agent 系统深入后，评估成为必须建设的方向。
对于社区而言，Comet 的开源评估系统（comet eval）降低了 Skill 科学评估的门槛，开发者可以基于任意 Skill 设置基线并迭代优化，而不仅仅依赖个人体验。同时，对运行时结构的彻底重构（Shell 转 Node）解决了跨平台兼容性痛点，使得更多 Windows 用户能够受益。Comet 从单一的 Coding Skill 扩展到 Workflow、Skill Creator、Eval 全链路平台，为长程任务和复杂 Agent 的稳定执行提供了可复用的 Harness 能力。这一实践有望推动更多开源项目重视评估体系建设，加速 Agent 系统的成熟与普及。