清华系团队给大模型织了一张“智能算力电网”

背景

当前，AI 行业正面临“算力荒”与“算力闲置”并存的结构性矛盾。一方面，海外高端 GPU 供不应求且价格高昂；另一方面，国产 AI 芯片虽然产能提升，但受限于生态不全、适配困难及推理优化门槛高，大量国产显卡处于“空转”状态，电费照烧却无法产出有效 Token。

企业想要落地 AI 应用，往往卡在算力这一基础设施环节。尽管市场热衷于比拼模型参数规模，但决定 AI 能否真正规模化落地的核心，在于能否稳定、便宜、大规模地生产 Token。在此背景下，由清华大学计算机系博士后闫博文领衔的“是石科技”应运而生。该公司成立于 2021 年，源自中国超级计算体系，是国内最早将超算与智算并行优化技术进行产业化的团队之一，旨在通过技术重构算力变现路径，解决异构算力调度难题。

核心内容

是石科技并未选择传统的算力转租模式，而是打造了一个名为“国产 TOKEN 调优工厂”的基础设施平台。其核心逻辑是将高性能计算（HPC）与人工智能计算深度融合，通过三大技术支柱，将分散、异构的算力资源转化为标准化的 Token 产能。

1. 构建全域异构算力“智能电网” 是石科技搭建了全域异构算力资源池，打破了单一算力资源的局限。该平台全面兼容 NVIDIA GPU 以及昇腾、昆仑芯、天数智芯、太初、瀚博半导体等主流国产 AI 芯片，并整合云厂商及边缘算力等多源渠道。通过智能调度与弹性扩缩容技术，实现算力的统一纳管与动态分配。 这种模式被比喻为“智能电网”：企业无需关心算力来源，只需“插上插头”，系统即可自动匹配最合适的算力节点。团队完成了从框架适配、算子兼容到通信优化、性能调优的全链路深度适配，使原本闲置或难用的国产算力转化为稳定、低成本的推理产能。

2. 极致推理优化，降低成本提升吞吐 在算力池化的基础上，是石科技深耕推理优化技术，从算子、内存、调度、解码等全维度进行革新。

• 技术栈：部署了 CUDA Kernel 算子级优化、PagedAttention 内存优化、Continuous Batching 连续批处理、混合精度推理，并配合 FlashAttention、推测解码、KV Cache 精细化管理及模型并行（TP/PP）等前沿方案。
• 成效：在严格恪守企业级 SLA 服务标准的前提下，实测数据显示，同等算力条件下，其方案可将吞吐量提升 30%-50%，单位 Token 生产成本降低 40%。同时，有效控制了传统推理中的延迟抖动、TTFT（首字延迟）与 TPOT（字间延迟）波动，确保 Token 生成的高效、稳定与高品质。

3. 多冗余容灾体系，保障高可用性 为解决规模化生产中的单点故障风险，是石科技构建了多 Provider 互补与容灾体系：

• 资源互补：流量峰值时自动弹性扩容。
• 技术互补：接入具备超低延迟、多模态等特定能力的模型与技术。
• 区域互补：跨地域部署以降低延迟并满足合规要求。 系统采用“自有集群承载主流量、合作伙伴集群兜底容灾”的模式，具备自动 Fallback 故障切换机制。即便某套引擎失效，系统可在 0.1 秒内自动切换至备用引擎，实现 99.9% 的高可用性服务保障，确保 Token 生产全程不断电、不中断。

关键要点

• 团队背景：创始人闫博文为清华计算机系博士后，团队源自国家级算力中心工程经验，是国内最早实现超算智算并行优化产业化的团队之一。
• 核心定位：不做简单的算力转租平台，而是打造“国产 TOKEN 调优工厂”，聚焦 Token 标准化、国产化与效率提升。
• 算力整合：兼容 NVIDIA GPU 及昇腾、昆仑芯等国产芯片，通过“智能电网”模式实现异构算力的统一纳管与智能分配。
• 性能指标：
  • 单位 Token 成本降低 40%。
  • Token 吞吐量提升 30%-50%。
  • 服务可用性达到 99.9%。
  • 故障切换时间控制在 0.1 秒以内。
• 技术壁垒：涵盖算子级优化、内存管理、连续批处理及多模型并行等全链路推理加速技术，解决国产芯片“能用但不好用”的痛点。
• 战略目标：建成中国最大、技术最先进、服务最完善的国产 TOKEN 调优工厂，推动 AI 产业迈入工业化、标准化阶段。

意义与影响

是石科技的实践标志着 AI 基础设施从“资源租赁”向“产能制造”的价值跃迁。

首先，它解决了国产算力生态的“最后一公里”问题。通过深度适配与优化，将原本因适配难而闲置的国产芯片转化为可商用的生产力，打破了国产算力“空转”的僵局，加速了国产 AI 算力的替代进程。

其次，它降低了 AI 落地的门槛与成本。通过提供稳定、低成本、标准化的 Token 产能，使得千行百业能够以更低的成本使用大模型能力，从而推动 AI 应用从“尝鲜”走向“规模化普及”。

最后，从行业长远视角看，是石科技选择了一条更具长期价值的道路：夯实 AI 推理底座。当行业还在追逐模型精度时，其致力于构建可进化、可复用、可普惠的 Token 生产力平台，这不仅有助于提升中国 AI 产业的自主可控能力，也为全球 AI 基础设施的高效发展提供了“中国方案”。