SWE-1.7 性能接近 GPT-5.5 和 Opus 智能水平
速览
SWE-1.7 是一个新发布的 AI 模型，其性能在多个任务上逼近 GPT-5.5 和 Opus 的智能水平。这标志着开源或小规模模型正快速追赶顶级闭源模型，AI 竞争格局进一步加剧。该成果可能由研究团队在优化算法或数据规模上取得突破，对行业具有重要参考价值。
AI 深度解读
背景
SWE-1.7 是由 Cognition 实验室训练的最新模型，据 Hacker News 上的标题称，其智能水平接近 GPT-5.5 和 Opus。Cognition 是一家快速成长的研究实验室，此前已推出 Devin——一款面向软件工程的 AI 代理。SWE-1.7 基于 Kimi K2.7 基础模型（该模型本身已接受过广泛 RL 后训练），再经过 Cognition 的强化学习（RL）管道进一步优化，旨在以更低成本达到前沿智能水平，推动成本-性能帕累托曲线向前发展。
核心内容
Cognition 今日正式发布 SWE-1.7，这是他们迄今训练出的最强模型。该模型在显著降低推理成本的同时，实现了接近前沿的智能水平，打破了以往“后训练天花板”的认知——RL 训练能在基础模型之上继续大幅提升能力。
SWE-1.7 的改进来自 RL 管道的全面优化：更好的基础设施、更稳定的训练过程、更高质量的数据，以及针对长时任务的新技术。模型特别针对长周期异步任务进行了优化，这是高质量软件工程的重要组成部分。目前 SWE-1.7 已通过 Cerebras 平台以 1000 TPS 的推理速度在 Devin（Web、桌面和 CLI）中提供服务。
训练 SWE-1.7 涉及四个关键组成部分：
1. 保持熵并稳定训练
长 RL 训练面临两个难题：熵塌缩（entropy collapse），以及训练与推理之间因数值漂移导致的不稳定性。团队通过多种手段解决了这些问题，使训练能够持续改进，远超之前停滞的轮次。关键措施包括：采用 top-p 采样（基于概率阈值）来避免低概率 token 被采样，防止熵塌缩。但 naive 的 top-p 会加剧训练-推理不匹配，因此他们实现了“采样分布回放”（sampling distribution replay），记录 rollout 时保留的 token 集合，并在训练器中重新归一化概率，使熵保持恒定，且训练-推理散度可控。此外，还使用了 Muon 优化器，并消除了训练器中的非确定性操作。
2. 多集群训练与容错
RL 训练不需要将所有推理计算集中在一个集群。Cognition 利用这一特性，在三个大洲的四个数据中心部署训练，结合自有 GPU 集群和 Fireworks 等推理提供商提供的额外算力。关键挑战是保持推理引擎与训练器权重的同步。他们采用压缩权重增量（仅传输当前与之前权重的差异，缩小超 99% 的传输量），并通过云对象存储作为单一信任源，每个集群内设有权重控制器，轮询新清单并触发树广播下载分片。这种方式实现了几乎无推理停机的更新。
3. 策展高质量数据
团队构建了完整的数据质量管道：对每个任务执行自动化测试，过滤掉低学习信号的任务，并强化任务以防止奖励黑客（reward-hacking）行为。
4. 长时任务的自压缩（Self-compaction）
模型学会将工作状态总结为压缩表示，并从此摘要恢复执行，从而在原始上下文窗口之外扩展任务 Horizon。他们交替使用长度惩罚，在不牺牲正确性的前提下鼓励简洁输出。
最后，观察到了模型的一些有趣行为倾向，如谨慎探索和简洁推理，这些是训练配置带来的结果。
关键要点
- 成本效益前沿：SWE-1.7 以远低于 GPT-5.5 和 Opus 的成本达到接近前沿的智能水平，打破了“高智能必须高成本”的假设。
- RL 天花板被突破：基于已充分 RL 训练的 Kimi K2.7 基础模型，SWE-1.7 的额外大幅提升表明 RL 后训练仍有巨大潜力，并非存在上限。
- 熵保持显著改善训练稳定性：通过 top-p 采样回放和概率重新归一化，训练中熵保持恒定，训练-推理散度有界，从而支持更长更稳定的训练。
- 多集群 RL 训练实现规模扩展：利用 RL 天然可分解的特性，跨洲联合训练，使用压缩权重增量和对象存储同步，大幅降低对单一大型集群的依赖。
- 自压缩扩展任务窗口：模型自动总结工作状态并恢复，有效突破原始上下文长度限制，提升长周期任务处理能力。
- 高质量数据策展机制：自动化执行测试、低信号过滤和奖励黑客防护，确保训练数据有效性。
意义与影响
SWE-1.7 的发布对 AI 行业具有多重启示。首先，它证明了强化学习在提升模型能力方面远未达到天花板，即使基础模型已经过大量 RL 后训练，仍可通过更强的 RL 管道获得显著提升。这鼓励研究者继续探索 RL 方法的潜力，而非简单依赖更大的基础模型。
其次，其多集群训练方案解决了算力稀缺问题。通过分布式部署，利用全球范围内分散的小型集群，结合对象存储和压缩增量同步，使 RL 训练不再依赖少数超级集群，降低了准入壁垒，可被其他实验室借鉴。
第三，熵保持技术（top-p 采样回放）为长 RL 训练提供了实用稳定方案，有助于其他团队避免训练崩溃。自压缩机制则展示了模型自我管理上下文的能力，为更复杂的 Agent 任务奠定了基础。
最后，SWE-1.7 以较低成本实现高智能，可能加速 AI 在软件工程等领域的实际部署，尤其对中小型企业更具吸引力。Cognition 将模型集成到 Devin 中，并通过 Cerebras 提供高速推理，进一步降低了使用门槛。整体而言，该工作为后训练时代的模型优化提供了新范式。