AI科学需研究训练动态而非事后修补
原标题：Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics
速览
本文提出AI科学必须超越将模型视为静态产物的传统视角，转而深入研究塑造模型行为的数据、目标及优化动态。研究应致力于从早期训练信号预测结果，并在轨迹偏离时进行干预，最终设计出能可靠产生期望属性的训练流程。尽管缩放定律已使损失预测成为常态，但将这一成功扩展至能力、偏见、鲁棒性及安全性等关键领域仍面临挑战。
AI 深度解读
AI 正在阅读原文并生成深度解读…（首次约 20–40 秒，之后秒开）
查看原文 →arxiv.org