云天励飞发布三款AI推理芯片，剑指百亿Token一分钱

背景

2026年7月18日，云天励飞在WAIC 2026上公布了未来两年多的AI推理芯片路线图。随着大模型推理应用日益分化，从通用AI助手到深度推理应用再到实时智能体系统，单次任务的上下文长度、推理链路复杂度以及实时交互要求持续提高，对推理系统的吞吐、延迟和成本提出了更高要求。传统通用算力架构在应对Prefill、Decode等不同阶段负载时存在资源竞争和效率瓶颈，推动芯片设计从单颗性能提升走向多芯协同与集群级优化。云天励飞提出以“百亿Token一分钱”为长期目标，通过专用芯片、异构集群和软件栈协同，持续降低Token生成成本。

核心内容

云天励飞计划推出三款云端大算力推理芯片：DeepVerse100P、DeepVerse100D和DeepVerse100L，分别针对大模型推理中Prefill、Decode和Decode FFN环节的负载特征进行专用优化。三款芯片面向万卡异构集群进行协同设计与部署，通过对不同推理阶段解耦，为不同负载配置更适配的芯片和算力资源，提升系统整体效率，降低Token生成成本。

• DeepVerse100P：面向百万级上下文Prefill场景，解决传统混部架构中长上下文Prefill与Decode共享资源导致的资源抢占和Decode生成吞吐下降问题。
• DeepVerse100D：面向Decode环节，拥有数倍于主流芯片的内存带宽，支持1024卡Scale-up及光互联系统架构，通过按需建立光路直连、动态重构光路，减少多跳电交换和静态组网中的排队、拥塞及中间转发开销，降低多节点通信阻塞和尾延迟，提高逐Token输出的稳定性。
• DeepVerse100L：面向Decode阶段计算密集型的FFN环节，采用3D Memory架构，大幅提升内存带宽，并通过低延迟芯片互联和激活数据快速传输，提高计算与通信的并行效率。

三款芯片在万卡规模集群中实现分离式部署与协同运行：按照Prefill、Decode和Decode FFN的负载特征分别配置相应芯片和资源池，通过高速互联形成协同运行的异构算力系统，降低不同负载之间的资源干扰，提高集群资源利用率和整体推理效率。

云天励飞同时建设IFWA软件栈，覆盖AI模型开发、编程及系统层级，兼容主流软件接口（如PyTorch ATen算子、vLLM、SGLang等推理框架），构建一站式自动化工具链（模型量化、压缩、编译、部署），并引入AI Agent参与推理芯片适配和性能优化。此前已开源Houmao多Agent异构编程框架，将部分芯片软件开发流程自动化。此外，云天励飞将Triton算子能力融入FlagOS，通过社区共享减少算子适配重复投入。

在产业生态层面，云天励飞联合30余家单位于今年5月签署“1001计划”倡议，围绕Token生成效率和成本，推动产业链上下游协同，使模型和应用需求更早反馈至芯片及系统设计环节，加速芯片在集群和实际场景中的验证和应用。

关键要点

• 推理负载持续分化，通用算力架构下Prefill与Decode、Attention与FFN之间资源竞争加剧，需要专用芯片解耦。
• DeepVerse100P、100D、100L分别针对Prefill、Decode、Decode FFN三阶段进行专用优化，采用不同架构（如光互联、3D Memory）提升对应环节效率。
• 三款芯片在万卡异构集群中协同部署，通过分离式资源池和高速互联降低资源干扰，提升集群整体Token生成效率。
• IFWA软件栈强调兼容主流框架和工具，降低模型迁移成本；利用AI Agent和开源框架（Houmao、FlagOS）加速适配和优化。
• “1001计划”联合产业链30余家单位，推动从芯片设计到应用部署的全链条协同，以实现“百亿Token一分钱”的长期成本目标。

意义与影响

云天励飞的芯片路线图反映了AI推理芯片设计从“通用算力”向“专用解耦+集群协同”的范式转变。通过将推理链路的Prefill、Decode、FFN等环节拆分为独立优化的芯片，并配套光互联、3D Memory等先进技术，有望在万卡规模下显著降低Token生成成本和延迟，提升系统效率。IFWA软件栈的开源与兼容策略，降低了国产算力平台的迁移门槛，有助于吸引更多开发者和企业采用DeepVerse平台。同时，“1001计划”通过产业链联合创新，推动需求端（模型与应用）与供给端（芯片与系统）更紧密耦合，加速国产AI算力从“能用”迈向“好用、易用、用得起”。这一路径若成功，将为中国大规模AI推理部署提供低成本、高效益的算力基础设施方案，对全球AI推理芯片竞争格局产生重要影响。