浪潮信息单柜养4万Agent，让大模型组队答题

背景

AI基础设施的核心任务正在从支撑大模型推理，转向支撑海量智能体的规模化运行与高质量Token的持续生产。据IDC数据，2025年中国AI Agent企业级市场规模约190亿元，预计2025至2028年复合增长率超过110%。Gartner判断，2026年将有40%的企业应用集成任务型AI Agent。

在Agent时代，基础设施面临两个方向的能力缺口：其一，海量Agent能否规模化、稳定地运行；其二，多个模型能否协同工作，让Agent变得更聪明。浪潮信息在2026开放计算大会上，针对这两个缺口分别给出了产品方案。

核心内容

Agent对基础设施的新要求

传统大模型推理阶段，AI基础设施只需支撑一次输入一次输出。进入Agent阶段，基础设施需支撑任务拆解、工具调用、多轮协作和持续运行。Agent应用会将任务拆开，一步步调用工具、来回协作，背后同时运转的可能是一整群Sub-Agent。部署到企业后，Agent数量可能高达成千上万。同时，单一模型存在能力偏科——有的擅长逻辑推理，有的擅长写文本，实际任务越来越复杂，需要多模型分工协作、互相补台。

新需求下，基础设施的第一个变化是CPU变得更重要。Agent的任务拆解、工具调用、多轮协作、汇总结果等整型运算和逻辑推理运行在CPU上，且Agent需常年在线，运行时间被拉长。算力配比从以GPU为中心走向多元算力系统协同。

CPU重要性上升后，功率密度问题凸显。浪潮信息副总经理赵帅介绍，国内AI机柜功率今年内将冲到300千瓦，全球部分机柜已进入兆瓦级。如果CPU侧仍停留在单柜几千瓦密度，无法匹配数据中心新型电力基础设施。传统风冷单机柜散热40到50千瓦的上限已撑不住，液冷成为必选项。

单柜运行4万+Agent

浪潮信息发布了业界首款CPU原生液冷整机柜服务器。该服务器单柜最大可支持384颗基于开放OCM架构的CPU处理器，兼容x86和ARM，可支撑4万+个Agent协同运行。这一规模是今年4月发布的“企千虾”方案（单台2U服务器部署1000个Agent）的40倍。OCM架构能够兼容不同代际、不同架构的处理器，不用为每一代新芯片重新设计整套系统，研发周期大幅压缩。

散热方面，浪潮信息提出“原生液冷”理念，完全颠覆传统风液混合散热逻辑。传统冷板液冷服务器只给计算部件贴散热冷板，内存、网卡、硬盘等仍靠风扇散热。新方案将计算和散热协同设计，把内存、网卡、光模块、SSD等所有发热部件一并纳入液冷散热体系。具体做法是将算力单元做成2U超薄形态，一个节点塞进16颗CPU，内存、网卡、光模块等部件平铺在主板上，用一整块冷板统一承接散热，省去服务器托架。整机柜实现无线缆设计，支持热维护，保障业务零中断，运维效率提升100%以上。

多个大模型协同完成一次任务

浪潮信息在元脑企智EPAI平台上架了多模融合API，并同步发布元脑SD200超节点企业版。

多模融合机制：将同一个任务同时甩给多个候选模型，各自独立生成答案，再由一个评审融合模型比较答案中的共识、分歧、遗漏和独特观点，最终拼出统一输出。简单任务（如问答、工具调用、格式转换）会直接路由给单模型处理；只有复杂长链路任务才调度多个候选模型。该机制在DRACO测试中取得53.9%的成绩，高于测试候选池中任何一个单模型的表现。多模融合API可像普通模型服务一样直接接入应用，也可配置到智能体和开发框架中。

多个大模型同时参与任务对底层算力提出更高要求：既要一次装下多个万亿参数模型，又不能牺牲输出速度。元脑SD200超节点去年发布时已能同时部署4个万亿参数大模型，token生成时间8.9毫秒（国内首个突破10毫秒）。今年进一步压至4.77毫秒（国内首个跑进5毫秒的方案），首Token延迟降低35%。提升得益于多Token预测、W4A8精度方案和JIT即时编译等软硬协同优化。

元脑SD200超节点已适配Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流开源模型。同时推出的元脑SD200超节点企业版是缩小版，Scale Up计算域从64卡减至16卡，万亿参数模型首token延迟降低40%以上，为中小企业提供更低迁移和适配成本的选择。

关键要点

• Agent时代对AI基础设施的要求从单次推理转向规模化多Agent协同运行，CPU的重要性显著提升。
• 功率密度飙升倒逼散热方案变革，传统风冷已无法满足，液冷成为必选项。
• 浪潮信息CPU原生液冷整机柜：单柜384颗CPU（OCM架构，兼容x86/ARM），支撑4万+Agent协同运行，是此前“企千虾”方案的40倍。
• 原生液冷理念将内存、网卡、光模块、SSD等所有发热部件纳入液冷，实现无线缆设计、热维护、零中断。
• 多模融合API：多个候选模型独立生成答案，评审融合模型汇总输出，复杂任务协同、简单任务单模型处理，DRACO测试得分53.9%优于任何单模型。
• 元脑SD200超节点企业版：16卡Scale Up计算域，万亿参数模型首token延迟降低40%以上，降低中小企业门槛。
• 元脑SD200超节点企业版token生成时间4.77毫秒（国内首个进5ms），首Token延迟降低35%，已适配多个主流开源模型。
• Agent基础设施竞争重点从单一模型支持能力转向系统级协同能力（CPU、GPU、软件平台三者协同）。

意义与影响

浪潮信息的这一套组合方案，直接回应了Agent规模化部署和多模型协同两大核心痛点。CPU原生液冷整机柜将单柜Agent支撑密度推至4万以上，同时通过原生液冷解决了高功率密度的散热瓶颈，为企业在有限空间内部署海量Agent提供了可行路径。多模融合API引入的评审融合机制，让多个模型通过“组队答题”方式提升输出质量，解决了单一模型能力偏科的问题，相当于为Agent装上了“多脑协作”的决策系统。

元脑SD200超节点企业版的推出，降低了万亿参数模型落地的门槛，让原本只能部署千亿模型的企业也能将万亿模型用于生产环境，加速了大模型在企业侧的规模化应用。整套方案展示了CPU、GPU与软件平台三者协同的必要性：CPU承载Agent实例、工具调用和业务交互，GPU负责模型推理与Token生成，软件平台负责模型接入、任务编排和结果融合。

从产业视角看，Agent基础设施的竞争已从“单点最强”转向“系统级协同最优”。浪潮信息通过硬件架构创新（OCM兼容、原生液冷）、软件功能创新（多模融合API）以及产品分层（企业版降低门槛），构建了一条从海量Agent运行到高质量Token生产的完整链路。这标志着AI基础设施进入一个既要数量（Agent规模化）又要脑子（多模型协同）的新阶段，也预示着一批以Agent为核心的应用将迎来更坚实的底层算力支撑。