GLM-5.2: Built for Long-Horizon Tasks
AI 深度解读
背景
随着大语言模型在工程自动化、代码生成与复杂任务执行中的深入应用,模型需要能够处理持续数小时甚至数十小时的长期任务(Long-Horizon Tasks)。这类任务要求模型不仅接受长上下文输入,更能在长而混乱的编码代理轨迹中保持质量,实现稳定、可工程化的执行。当前主流模型在长上下文支持上存在“宣称容易,实用困难”的问题——长上下文长度容易被夸大,但在真实工程压力下可靠性不足。GLM-5.2 正是在这一背景下推出,旨在提供真正可用的 1M token 上下文,并针对编码代理场景进行专门训练,为长期工程任务提供坚实基座。
核心内容
GLM-5.2 是新一代开源大语言模型,核心亮点包括:
- 稳定的 1M 上下文:支持 1M token 的上下文长度,且经过大量编码代理场景训练,覆盖大规模实现、自动研究、性能优化和复杂调试,确保长上下文的可靠执行。
- 灵活的编码能力与努力级别控制:在标准编码基准上,GLM-5.2 是开源模型中最强的,相比 GLM-5.1 大幅提升(Terminal-Bench 2.1 上 81.0 vs 63.5,SWE-bench Pro 上 62.1 vs 58.4),并缩小了与闭源前沿的差距(Terminal-Bench 2.1 上 81.0 与 Claude Opus 4.8 的 85.0 仅差几个点)。同时引入努力级别控制,允许用户显式地在模型能力与执行速度、计算成本之间权衡,提供从低到高的不同推理模式。
- 改进的架构(IndexShare):提出 IndexShare 机制,在每四个稀疏注意力层之间共享同一个索引器,从而在 1M 上下文长度下将每 token 的 FLOPs 降低 2.9 倍。该机制从 128K 序列长度的中期训练开始使用,在长上下文基准上优于 GLM-5.1。
- 增强的 MTP 层(Multi-Token Prediction):针对推测解码(speculative decoding)优化 MTP 层,通过引入 IndexShare 和 KVShare,消除训练与推理之间的不一致,将接受长度(acceptance length)提升高达 20%。具体做法是:MTP 层中索引器仅放在第一步,后续步骤复用 topk 索引,同时 KV 缓存也复用目标模型的隐藏状态,从而避免混合状态导致的差异。
- 高效的推理引擎:为支持 1M 上下文,推理引擎沿三个方向优化:基于 LayerSplit 的细粒度内存管理与并行化以增加 KV 缓存容量;优化随上下文长度增长成本增加的内核,并与缓存传输流水线协调;优化 CPU 端缓存管理、请求调度与运行时执行路径,减少 GPU 执行流水线中的气泡,提升端到端吞吐量。实验表明,上下文越长,GLM-5.2 的吞吐量优势越明显。
- Agentic RL 训练基础设施 slime:GLM-5.2 的 agentic RL 后训练涉及更大规模、更多领域、更复杂执行模式的任务。异构数据与任务需要在统一训练过程中组织,长期交互、工具使用、子任务分解、多轮环境反馈对 rollout 和训练编排提出更高要求。slime 作为集成基础设施层,从训练到部署提供支撑。
在三个长期编码基准上的表现:
- FrontierSWE(衡量代理完成数小时到数十小时开放性技术项目的能力):GLM-5.2 仅落后 Opus 4.8 1%,领先 GPT-5.5 1%,领先 Opus 4.7 11%。
- PostTrainBench(给予 H100 GPU,评估代理通过后训练改进小模型的能力):GLM-5.2 优于 Opus 4.7 和 GPT-5.5,仅次于 Opus 4.8。
- SWE-Marathon(超长期软件工程基准,涵盖构建编译器、优化内核、开发生产级服务等):GLM-5.2 仍有成长空间,落后 Opus 4.8 13%,但仍是除 Opus 系列外最强的模型。
在所有三个基准上,GLM-5.2 是排名最高的开源模型,证明其 1M 上下文转化为了实际的长期任务交付能力。
关键要点
- GLM-5.2 是开源模型,采用 MIT 许可证,无区域限制,技术访问无边界。
- 1M 上下文并非简单增加 token 容量,而是专门针对编码代理场景进行训练,确保长上下文的可靠性与实用性。
- IndexShare 架构通过共享索引器,在 1M 上下文长度下将每 token FLOPs 降低 2.9 倍,同时保持或提升长上下文性能。
- MTP 层的改进使推测解码的接受长度增加 20%,核心思路是复用 topk 索引和 KV 缓存,消除训练推理 gap。
- 努力级别控制(Effort Level Control)让用户可以根据任务需求灵活选择计算量,在相似 token 预算下,GLM-5.2 的编码能力介于 Claude Opus 4.7 与 Opus 4.8 之间,Max 级别可进一步扩展能力。
- 推理引擎针对长上下文优化,在更长上下文下吞吐量优势更明显,解决了 KV 缓存容量、长上下文内核开销和 CPU 端开销等瓶颈。
- slime 基础设施支持复杂的 agentic RL 训练,统一组织异构数据与任务,处理长期交互与工具使用。
- 在多个长期编码基准(FrontierSWE、PostTrainBench、SWE-Marathon)上,GLM-5.2 均位列开源第一,且与闭源最强模型(Opus 4.8)差距很小。
意义与影响
GLM-5.2 的发布标志着开源大模型在长上下文和长期任务能力上迈出了关键一步。过去,1M 上下文往往被当作宣传噱头,但 GLM-5.2 通过实际的编码代理训练和架构优化,证明了长上下文可以在工程中稳定使用。其开源许可证(MIT)消除了地域和技术壁垒,使全球研究者和开发者都能自由使用、修改和部署。
从技术趋势看,GLM-5.2 的 IndexShare 和 MTP 改进为高效稀疏注意力与推测解码提供了新思路,有助于降低长上下文推理的计算成本。努力级别控制的设计则体现了模型从“一刀切”向“按需分配”的演进,使用户能在不同场景下平衡性能与成本。
在竞争格局上,GLM-5.2 在多个长期
查看原文 →huggingface.co
