分享整合多模型的三个工具:CPA、AxonHub和Manifest
速览
作者分享了三个用于整合和管理多模型的开源工具:CPA、AxonHub和Manifest。AxonHub作为主力聚合平台,支持通过规则将不同供应商的模型统一映射,并提供灵活的提示词管理。Manifest则作为智能路由器,通过auto模型根据对话复杂度自动调度底层模型。CPA主要用于聚合Codex及非常规OpenAI兼容供应商。三者结合使用,实现了高效的多模型调用与分流。
AI 深度解读
背景
在当前的 AI 应用生态中,用户往往需要面对多个模型供应商(如 OpenAI、Anthropic 等)以及不同的 API 接口标准。为了降低调用成本、提高稳定性并简化管理流程,聚合类工具应运而生。然而,市面上的聚合方案众多,且功能侧重各异。
本文作者基于在 LINUX DO 社区的经验,分享了一套经过实战验证的模型聚合与调度工作流。作者曾尝试过 cpa、sub2api、newapi、gpt-load、manifest、axonhub 等多种工具,最终筛选出 cpa、axonhub 和 manifest 三者组合,构建了一个高效、灵活且稳定的模型调用体系。该分享旨在为其他开发者或高级用户提供一套可参考的架构方案,而非商业推广。
核心内容
作者详细阐述了其选定的三个核心工具在项目中的具体角色、功能优势及协同工作方式:
1. CPA:非常规供应商的适配层
CPA 在作者的工作流中主要承担“边缘适配”的角色。它的核心价值在于能够聚合 Codex 以及一些非标准的 OpenAI 兼容供应商。例如,某些供应商(如 kilo.ai)的 API URL 不包含标准的 v1 路径,导致大多数标准聚合器无法直接调用,而 CPA 是目前作者发现的唯一能成功调用此类非标准接口的工具。不过,作者也指出,CPA 近期的更新体验有所下降,不再像以前那样易用。
2. AxonHub:核心聚合与管理中枢 AxonHub 是作者目前的主力聚合工具,其核心优势在于强大的模型关联规则和系统提示词管理功能:
- 模型归一化:通过正则表达式或其他规则,AxonHub 可以将不同供应商提供的同名或变体模型(如
gpt-5.1、gpt5.1、gpt-5-1等)统一映射到一个标准模型名称下。这使得上层应用无需关心底层供应商的具体实现细节。 - 灵活的提示词注入:支持针对特定模型或特定 API 密钥(Key)添加特定的系统提示词(System Prompt)。这种细粒度的控制能力极大地提升了模型调用的灵活性。
- 集成 CPA:作者将 CPA 作为供应商源接入 AxonHub,从而在统一的管理界面中同时使用标准和非标准的模型资源。
3. Manifest:智能路由与流量调度器
Manifest 定位为“智能分流的模型路由器”。它对外暴露一个统一的 auto 模型接口,内部则通过配置实现复杂的调度逻辑:
- 默认路由模式:提供四种预设模式——简单(Simple)、标准(Standard)、复杂(Complex)和推理(Reasoning)。用户可以根据任务类型选择对应的模式。
- 自定义模式:除了默认模式,用户还可以创建自定义的路由规则。
- 动态调度:当外部调用
auto模型时,Manifest 会根据对话内容的复杂度、类型等特征,自动将请求分发给 AxonHub 中聚合的合适模型。
工作流协同架构 作者的实际使用架构如下:
- 底层:CPA 负责接入非标准供应商,AxonHub 负责聚合所有供应商(包括 CPA 接入的)并进行模型归一化和管理。
- 中层:Manifest 作为入口,通过
auto模型接收请求。 - 上层:Manifest 根据预设规则,将请求智能路由至 AxonHub 中的具体模型。 这种分层架构实现了“统一入口、智能调度、底层灵活聚合”的效果,作者表示目前使用体验非常顺畅。
关键要点
- 工具选型逻辑:没有单一的“万能”聚合工具,作者通过组合不同特性的工具(CPA 的兼容性、AxonHub 的管理能力、Manifest 的智能路由)来弥补单一工具的短板。
- 非标准 API 的处理:对于 URL 结构不符合 OpenAI 标准(如无
v1路径)的供应商,CPA 是目前有效的解决方案之一。 - 模型归一化的重要性:通过 AxonHub 的正则规则将不同供应商的同名变体模型统一,可以显著降低上层应用的维护成本。
- 细粒度提示词管理:AxonHub 支持针对特定 Key 或模型注入系统提示词,这对于需要特定角色设定或安全约束的场景非常有用。
- 智能路由的价值:Manifest 的
auto模式允许用户根据任务复杂度(简单/标准/复杂/推理)自动选择模型,无需手动切换,提升了交互的自然度和效率。 - 去商业化立场:作者强调所有推荐项目均来自 GitHub,无利益关联,仅基于个人使用体验分享。
意义与影响
这一分享为 AI 应用开发者提供了一条务实的技术路径,即通过“组合拳”而非“单一依赖”来构建健壮的模型调用层。
- 降低技术门槛:对于不熟悉底层 API 差异的开发者,AxonHub 的模型归一化功能屏蔽了供应商间的细微差别,使得切换供应商或增加新供应商变得简单。
- 提升资源利用率:通过 Manifest 的智能路由,用户可以将简单任务分配给低成本模型,将复杂推理任务分配给高性能模型,从而在性能和成本之间取得平衡。
- 应对碎片化生态:在 API 标准尚未完全统一的背景下,CPA 的存在证明了适配层工具的价值,鼓励开发者关注那些能解决“最后一公里”兼容问题的工具。
- 社区知识共享:此类基于真实使用场景的深度分享,有助于社区成员避免重复造轮子,加速最佳实践的传播。
需要注意的是,随着 AI 基础设施的标准化进程加快,部分工具(如 CPA 处理非标准 URL 的能力)可能会逐渐被更通用的解决方案取代。因此,保持对技术演进的敏感度,并定期评估工具链的有效性,是维持工作流高效的关键。
