← 返回信息流
Agent SkillLINUX DO · AI·6 小时前

分享整合多模型的三个工具:CPA、AxonHub和Manifest

原标题:分享我使用的用于整合手头所有模型的几个工具项目。

速览

作者分享了三个用于整合和管理多模型的开源工具:CPA、AxonHub和Manifest。AxonHub作为主力聚合平台,支持通过规则将不同供应商的模型统一映射,并提供灵活的提示词管理。Manifest则作为智能路由器,通过auto模型根据对话复杂度自动调度底层模型。CPA主要用于聚合Codex及非常规OpenAI兼容供应商。三者结合使用,实现了高效的多模型调用与分流。

AI 深度解读

背景

在当前的 AI 应用生态中,用户往往需要面对多个模型供应商(如 OpenAI、Anthropic 等)以及不同的 API 接口标准。为了降低调用成本、提高稳定性并简化管理流程,聚合类工具应运而生。然而,市面上的聚合方案众多,且功能侧重各异。

本文作者基于在 LINUX DO 社区的经验,分享了一套经过实战验证的模型聚合与调度工作流。作者曾尝试过 cpa、sub2api、newapi、gpt-load、manifest、axonhub 等多种工具,最终筛选出 cpa、axonhub 和 manifest 三者组合,构建了一个高效、灵活且稳定的模型调用体系。该分享旨在为其他开发者或高级用户提供一套可参考的架构方案,而非商业推广。

核心内容

作者详细阐述了其选定的三个核心工具在项目中的具体角色、功能优势及协同工作方式:

1. CPA:非常规供应商的适配层 CPA 在作者的工作流中主要承担“边缘适配”的角色。它的核心价值在于能够聚合 Codex 以及一些非标准的 OpenAI 兼容供应商。例如,某些供应商(如 kilo.ai)的 API URL 不包含标准的 v1 路径,导致大多数标准聚合器无法直接调用,而 CPA 是目前作者发现的唯一能成功调用此类非标准接口的工具。不过,作者也指出,CPA 近期的更新体验有所下降,不再像以前那样易用。

2. AxonHub:核心聚合与管理中枢 AxonHub 是作者目前的主力聚合工具,其核心优势在于强大的模型关联规则和系统提示词管理功能:

  • 模型归一化:通过正则表达式或其他规则,AxonHub 可以将不同供应商提供的同名或变体模型(如 gpt-5.1gpt5.1gpt-5-1 等)统一映射到一个标准模型名称下。这使得上层应用无需关心底层供应商的具体实现细节。
  • 灵活的提示词注入:支持针对特定模型或特定 API 密钥(Key)添加特定的系统提示词(System Prompt)。这种细粒度的控制能力极大地提升了模型调用的灵活性。
  • 集成 CPA:作者将 CPA 作为供应商源接入 AxonHub,从而在统一的管理界面中同时使用标准和非标准的模型资源。

3. Manifest:智能路由与流量调度器 Manifest 定位为“智能分流的模型路由器”。它对外暴露一个统一的 auto 模型接口,内部则通过配置实现复杂的调度逻辑:

  • 默认路由模式:提供四种预设模式——简单(Simple)、标准(Standard)、复杂(Complex)和推理(Reasoning)。用户可以根据任务类型选择对应的模式。
  • 自定义模式:除了默认模式,用户还可以创建自定义的路由规则。
  • 动态调度:当外部调用 auto 模型时,Manifest 会根据对话内容的复杂度、类型等特征,自动将请求分发给 AxonHub 中聚合的合适模型。

工作流协同架构 作者的实际使用架构如下:

  • 底层:CPA 负责接入非标准供应商,AxonHub 负责聚合所有供应商(包括 CPA 接入的)并进行模型归一化和管理。
  • 中层:Manifest 作为入口,通过 auto 模型接收请求。
  • 上层:Manifest 根据预设规则,将请求智能路由至 AxonHub 中的具体模型。 这种分层架构实现了“统一入口、智能调度、底层灵活聚合”的效果,作者表示目前使用体验非常顺畅。

关键要点

  • 工具选型逻辑:没有单一的“万能”聚合工具,作者通过组合不同特性的工具(CPA 的兼容性、AxonHub 的管理能力、Manifest 的智能路由)来弥补单一工具的短板。
  • 非标准 API 的处理:对于 URL 结构不符合 OpenAI 标准(如无 v1 路径)的供应商,CPA 是目前有效的解决方案之一。
  • 模型归一化的重要性:通过 AxonHub 的正则规则将不同供应商的同名变体模型统一,可以显著降低上层应用的维护成本。
  • 细粒度提示词管理:AxonHub 支持针对特定 Key 或模型注入系统提示词,这对于需要特定角色设定或安全约束的场景非常有用。
  • 智能路由的价值:Manifest 的 auto 模式允许用户根据任务复杂度(简单/标准/复杂/推理)自动选择模型,无需手动切换,提升了交互的自然度和效率。
  • 去商业化立场:作者强调所有推荐项目均来自 GitHub,无利益关联,仅基于个人使用体验分享。

意义与影响

这一分享为 AI 应用开发者提供了一条务实的技术路径,即通过“组合拳”而非“单一依赖”来构建健壮的模型调用层。

  1. 降低技术门槛:对于不熟悉底层 API 差异的开发者,AxonHub 的模型归一化功能屏蔽了供应商间的细微差别,使得切换供应商或增加新供应商变得简单。
  2. 提升资源利用率:通过 Manifest 的智能路由,用户可以将简单任务分配给低成本模型,将复杂推理任务分配给高性能模型,从而在性能和成本之间取得平衡。
  3. 应对碎片化生态:在 API 标准尚未完全统一的背景下,CPA 的存在证明了适配层工具的价值,鼓励开发者关注那些能解决“最后一公里”兼容问题的工具。
  4. 社区知识共享:此类基于真实使用场景的深度分享,有助于社区成员避免重复造轮子,加速最佳实践的传播。

需要注意的是,随着 AI 基础设施的标准化进程加快,部分工具(如 CPA 处理非标准 URL 的能力)可能会逐渐被更通用的解决方案取代。因此,保持对技术演进的敏感度,并定期评估工具链的有效性,是维持工作流高效的关键。

查看原文 →linux.do