多租户RAG成本归因新架构：统一检索与生成

成本治理的 RAG：多租户 LLM 系统中检索与生成的统一每租户成本归属

来源：arXiv cs.AI（提交于 2026 年 7 月 13 日）

背景

企业级 Retrieval-Augmented Generation（RAG）部署面临一个严重的治理缺口：LLM 生成环节的成本可以按 token 精确计量，但检索层——包括向量内存、相似性计算以及 embedding API 调用——始终作为未归属的共享成本存在。这意味着在多租户场景下，不同租户之间会发生不可见的价格交叉补贴（cross-subsidization），即某个租户的高检索消耗被其他租户的低检索消耗所掩盖，导致成本分摊不公、预算失控和计费失真。现有的向量数据库和 RAG 系统大多将检索基础设施作为整体计入运营成本，缺乏细粒度、可审计的每租户成本归属机制。

为了解决这一治理盲区，该论文提出了 Cost-Governed RAG 架构，通过将一种免码本（codebook-oblivious）的向量索引 TurboVec 与多租户 LLM 治理网关集成，构建统一的观测堆栈，使得 embedding、检索和生成三个环节的成本都能共同归属于每个租户。

核心内容

论文的核心贡献是一套完整的成本治理架构，其技术基础是 TurboVec——一种基于确定性闭式内存公式的向量索引。与依赖图索引（如 HNSW）的向量数据库不同，图索引的内存开销与索引大小呈非线性关系，无法对单个租户的检索成本进行解析计算；TurboVec 通过免码本量化（codebook-oblivious quantization）实现了近精确的每租户检索成本计算。具体而言，TurboVec 的索引结构使得每个向量占用的内存和计算资源可以被精确公式化，从而能够根据每个租户存储的向量数量、查询频率等参数直接推导出该租户的检索成本，无需全局的共享码本（shared codebook），也就消除了训练式量化器中因码本共享而产生的潜在信息泄露面（该发现为探索性结论，受限于论文第七节所述条件）。

该架构在 Snowpark Container Services 上部署运行，位于云数据平台的治理边界内。系统设计了三层成本模型：

1. Embedding 层成本：租户发起查询时调用 embedding API 产生的费用，按 token 归属。
2. 检索层成本：包括向量存储（内存/磁盘）、相似性计算（CPU/GPU 时间）以及索引维护开销。TurboVec 的闭式内存公式使检索成本可近似精确分配到每个租户。
3. 生成层成本：LLM 生成的 token 数，通常已按输入/输出 token 计价，可直接归属。

在三层模型基础上，论文通过在 100 个模拟租户、1000 万向量、对数正态规模分布的环境中进行实验，系统达到 99.96% 的端到端成本归属准确率，同时遥测开销（telemetry overhead）占查询延迟的不到 0.04%。与托管向量数据库服务在论文第四节所述定价假设下相比，检索基础设施成本降低了 3.1 到 9.0 倍。

此外，论文特别指出免码本量化带来的附带优势：由于不再需要训练共享码本，租户之间的向量表示完全独立，避免了传统量量化（如 Product Quantization）中因码本泄露而可能引发的隐私风险——尽管这一观察尚处于探索阶段，并受限于论文第七节中列出的局限性。

关键要点

• 核心问题：多租户 RAG 系统中检索层（向量内存、相似性计算、embedding API）的成本长期被视为不可归属的共享成本，导致租户之间隐性交叉补贴，缺乏治理透明度。
• 解决方案：Cost-Governed RAG 架构，将免码本向量索引 TurboVec 与多租户 LLM 治理网关结合，实现 embedding、检索、生成三层联合归属。
• TurboVec 关键特性：基于确定性闭式内存公式，可实现近精确的每租户检索成本计算，且不依赖共享码本，消除了训练式量化器的信息泄露风险（探索性结论）。
• 部署环境：Snowpark Container Services，位于云数据平台的治理边界内。
• 实验效果：在 100 个模拟租户、1000 万向量（对数正态规模分布）下，端到端成本归属准确率达 99.96%，遥测开销小于 0.04% 的查询延迟。
• 成本降低：相对于托管向量数据库服务（论文第四节定价假设），检索基础设施成本降低 3.1–9.0 倍。
• 隐私/安全性：免码本设计消除了共享码本可能带来的跨租户信息泄露面（需进一步验证）。

意义与影响

该论文直接回应了企业级 RAG 部署中一个长期被忽视但至关重要的治理需求：成本归属的可观测性与问责性。在多租户环境下，如果不能准确将计算和存储成本分配到每个租户，就无法实现公平计费、预算控制和资源优化。Cost-Governed RAG 提出的三层成本模型和 TurboVec 索引提供了一种可行的架构范式，使得检索类的共享基础设施也能像 LLM token 生成一样细粒度归属。

从技术演进角度看，TurboVec 的免码本量化思路打破了传统向量索引（如 Product Quantization）对共享码本的依赖，在降低检索成本的同时引入附带的隐私收益。虽然论文明确指出该隐私收益仍属探索性质，但它为未来在向量数据库中实现“隔离但高效”的多租户设计提供了新方向。

从工程落地角度，该架构基于 Snowpark Container Services 构建，表明它可以在现有的云数据平台治理框架内无缝集成，无需改造底层存储或计算引擎。4 个 9 以上的成本归属准确率和低于 0.04% 的性能损失，使其具备实际部署的可接受性。

未来，该工作可能催生三个方向的研究与应用：一是将成本归属扩展到更复杂的 RAG 管道（如多跳检索、路由、后处理）；二是探索免码本索引在大规模（百亿级向量）下的可扩展性；三是将成本治理与 SLA、安全策略（例如租户级数据隔离）结合，形成更完整的多租户 RAG 治理平台。总体而言，该论文填补了多租户 LLM 系统中“共享检索成本归属”这一治理短板，对于推动 RAG 在金融、医疗、合规等强监管行业的企业级部署具有重要参考价值。