← 返回信息流
创投信息36氪 快讯·11 小时前

新版公有云大模型Token服务性能监测平台即将上线

原标题:新版“公有云大模型Token服务性能监测平台”即将上线

速览

“高质量Token服务研讨会”将于6月16日召开,届时将上线新版“公有云大模型Token服务性能监测平台”。该平台将对主流Token服务平台的吞吐率、时延等性能进行客观量化评估,为产业选型提供依据。此外,论坛还将集中发布“Token服务”系列标准并进行权威解读。

AI 深度解读

背景

随着大模型技术的快速迭代与应用落地,Token 服务作为连接模型能力与用户请求的关键基础设施,其性能表现直接决定了最终产品的用户体验与商业成本。近期,行业对于 Token 服务的质量评估从单一的“可用性”转向了更精细化的“性能量化”与“标准化”阶段。

在此背景下,一场名为“高质量Token服务研讨会”的行业活动定于 6 月 16 日召开。该活动不仅旨在通过发布新版监测平台来建立客观的评价体系,还结合了 Artificial Analysis 最新发布的 Output Speed 榜单数据,揭示了当前主流大模型在速度、效率及性价比方面的最新竞争格局。这一系列动作标志着公有云大模型服务正进入以“性能透明化”和“标准规范化”为特征的新发展阶段。

核心内容

本次解读主要涵盖两个维度的核心信息:一是行业标准的建立与性能监测平台的升级;二是主流大模型在输出速度及综合性能上的最新实测数据。

1. 公有云大模型 Token 服务性能监测体系升级

6 月 16 日召开的“高质量Token服务研讨会”将上线新版“公有云大模型Token服务性能监测平台”。该平台的核心功能是对主流 Token 服务平台进行客观的量化评估,重点监测指标包括 Token 吞吐率(Throughput)和时延(Latency)等关键性能参数。

此次发布还将同步推出《公有云大模型Token服务性能监测结果(2026年6月)》。这一数据报告旨在为产业各方在选型时提供客观参考,并推动整体服务质量的提升。此外,论坛还将集中发布“Token服务”系列标准,并进行权威解读,这意味着行业正在从单纯的技术比拼走向标准化、规范化的成熟阶段。

2. 主流大模型性能实测:Step 3.7 Flash 领跑

根据大模型评测平台 Artificial Analysis 最新发布的 Output Speed 榜单,阶跃星辰(StepFun)最新开源的基座模型 Step 3.7 Flash 在性能表现上取得了显著突破:

  • 输出速度第一:Step 3.7 Flash 以 409 tokens/s 的输出速度,位列主流模型中的第一名。
  • 综合指标领先:除了绝对速度,该模型在多个关键维度上均处于领先位置,具体包括:
    • 端到端响应时长(End-to-End Response Time):衡量从用户发起请求到获得完整回复的总耗时。
    • 智能效率(Intelligence vs. Output Speed):平衡模型智能水平与输出速度的能力。
    • 速度价格比(Output Speed vs. Price):在提供高速输出的同时,保持极具竞争力的成本效益。

关键要点

  • 监测平台上线:新版“公有云大模型Token服务性能监测平台”将于 6 月 16 日上线,旨在提供客观量化的性能评估。
  • 评估指标明确:核心监测指标聚焦于 Token 吞吐率和时延,为行业提供标准化的参考依据。
  • 标准发布:论坛将发布并解读“Token服务”系列标准,推动行业规范化发展。
  • Step 3.7 Flash 性能突破:阶跃星辰(StepFun)的 Step 3.7 Flash 模型以 409 tokens/s 的速度成为主流模型中输出速度最快的代表。
  • 多维优势并存:Step 3.7 Flash 不仅在速度上领先,在端到端响应时长、智能效率以及速度价格比等综合指标上均表现优异。
  • 数据时效性:相关监测结果发布于 2026 年 6 月,反映了该时间点的行业最新技术水平。

意义与影响

1. 推动行业从“黑盒”走向“透明”

过去,大模型服务的性能往往被视为厂商内部的“黑盒”数据,用户难以获得客观、统一的对比标准。新版监测平台的上线及系列标准的发布,意味着行业正在建立一套公认的“度量衡”。这将降低企业和开发者的选型成本,促使服务商通过提升真实性能而非营销话术来赢得市场。

2. 加速“速度-成本-智能”的三角平衡优化

Step 3.7 Flash 在 Artificial Analysis 榜单上的全面领先,特别是其在“智能效率”和“速度价格比”上的优势,表明当前大模型技术的发展重点已不再仅仅是追求参数的规模或单一的速度峰值,而是寻求三者之间的最佳平衡点。这对于降低大模型应用的边际成本、推动 Agent 时代的大规模落地具有直接的推动作用。

3. 强化开源模型的市场竞争力

StepFun 通过开源基座模型 Step 3.7 Flash 在性能榜单上击败众多主流模型,展示了开源生态在高性能模型研发上的强大生命力。这不仅丰富了开发者的选择,也打破了闭源模型在高端性能领域的垄断预期,促进了更开放、更具活力的模型生态建设。

4. 为 2026 年算力与模型演进提供风向标

监测结果发布于 2026 年 6 月,这一时间点本身即暗示了行业对高性能、低延迟 Token 服务的迫切需求。随着 16 亿 Windows 用户等庞大基数向 Agent 时代迈进,对后端 Token 服务的稳定性、速度和成本提出了极高要求。此次标准与数据的发布,为后续算力基础设施(如英特尔等厂商的挑战)和模型架构优化提供了明确的技术导向。

查看原文 →36kr.com