Ling and Ring 2.6 Technical Report: Efficient and Instant Agentic Intelligence at Trillion-Parameter Scale

背景

随着大语言模型（LLM）向万亿参数规模演进，构建能够支持复杂智能体（Agentic）工作流的系统面临着严峻的效率与延迟挑战。理想的智能体智能不仅需要强大的推理能力，还必须具备低延迟的响应速度，同时在训练、服务和部署层面保持极高的实用性和可扩展性。

传统的训练范式通常从零开始构建模型，这不仅成本高昂，且在架构设计与系统部署之间往往存在割裂。Ling and Ring 2.6 技术报告旨在解决这一核心矛盾，提出了一种通过架构迁移预训练和大规模后训练来升级现有基座模型的新路径。该报告强调了模型架构、优化目标、服务系统以及智能体训练环境之间的统一协同设计（Unified Co-design），以在提升模型能力的同时，显著改善部署效率。

核心内容

本报告详细介绍了 Ling-2.6 和 Ring-2.6 两个模型系列的设计原理、技术实现及训练方法。这两个模型并非从零训练，而是基于 Ling-2.0 基座模型进行升级，旨在实现高效且即时的智能体智能。

1. 模型定位与差异化设计

• Ling-2.6：侧重于即时响应生成和每个输出令牌的高能力密度。它适用于需要快速反馈且对单次输出质量要求极高的场景。
• Ring-2.6：侧重于深度推理和更高级的智能体工作流。它专为处理复杂的、多步骤的智能体任务而设计，拥有万亿参数规模（1T），旨在通过强化学习在大规模环境接地数据上进行稳定训练。

2. 架构创新：混合线性注意力机制

为了提升长上下文训练和解码的效率，报告引入了一种混合线性注意力设计。该设计将 Lightning Attention 与 MLA（Multi-head Latent Attention，多头潜在注意力）相结合。这种混合架构旨在平衡计算效率与长序列建模能力，从而优化长上下文场景下的性能表现。

3. 提升令牌效率的技术手段

为了进一步增强“每个输出令牌的能力”（Capability per Output Token），研究团队采用了多种后训练优化技术：

• 进化链式思维（Evolutionary Chain-of-Thought）：通过进化算法优化推理路径，提升思维链的质量。
• 语言单元策略优化（Linguistic Unit Policy Optimization）：从语言单元层面进行策略优化，提高生成的精准度。
• 双向偏好对齐（Bidirectional Preference Alignment）：改进对齐机制，使模型输出更符合人类偏好。
• 最短正确响应蒸馏（Shortest-Correct-Response Distillation）：通过蒸馏技术，引导模型生成更简洁且正确的答案，减少冗余计算。

4. 智能体能力增强：KPop 强化学习框架

针对 Ring-2.6-1T 的智能体能力，报告提出了 KPop 框架。这是一个专为支持大规模环境接地数据上稳定训练而设计的强化学习框架。

• 异步调度机制：KPop 通过在编码、搜索、工具使用和流程执行等不同任务之间进行异步调度，显著提升了训练效率。
• 可扩展学习：该框架使得模型能够从复杂的智能体-环境交互中高效地学习，解决了大规模智能体训练中的稳定性与扩展性问题。

5. 开源承诺

为了促进实用智能体智能领域的进一步研发，研究团队已开源了 2.6 系列的所有检查点（Checkpoints）。

关键要点

• 非从零训练：Ling-2.6 和 Ring-2.6 是通过架构迁移预训练和大规模后训练对 Ling-2.0 基座模型进行的升级，而非从头训练。
• 统一协同设计：改进源于模型架构、优化目标、服务系统和智能体训练环境的统一协同设计，兼顾能力与部署效率。
• 混合注意力架构：引入结合 Lightning Attention 和 MLA 的混合线性注意力，优化长上下文训练与解码效率。
• 令牌效率优化：通过进化链式思维、语言单元策略优化、双向偏好对齐及最短正确响应蒸馏，最大化每个输出令牌的信息密度。
• KPop 强化学习框架：专为 Ring-2.6-1T 设计，利用异步调度机制支持编码、搜索、工具使用等复杂任务的稳定、可扩展训练。
• 双模型分工：Ling-2.6 主打低延迟和高单令牌能力；Ring-2.6 主打深度推理和复杂智能体工作流。
• 全面开源：2.6 系列所有模型检查点均已开源，支持社区进一步研究。

意义与影响

Ling and Ring 2.6 技术报告为万亿参数规模下的智能体系统提供了一条切实可行的技术路径。其核心贡献在于打破了传统大模型在“推理深度”与“响应速度”之间的权衡困境，通过架构层面的创新（混合线性注意力）和训练范式的革新（KPop 框架及多种后训练优化），实现了效率与能力的双重提升。

特别是 KPop 框架的提出，解决了大规模智能体在复杂环境接地数据上训练的稳定性难题，这对于推动智能体从实验室演示走向实际生产部署具有重要意义。此外，全面开源策略将加速社区对高效、可扩展智能体系统的探索，有助于降低智能体技术的门槛，促进 AI 代理（AI Agents）在更广泛场景中的应用落地。