UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing
AI 深度解读
背景
随着可用训练数据逼近物理极限，Scaling Laws 带来的性能增益开始递减。因此，提升大语言模型（LLM）的关键已从数据扩张转向更高质量的数据利用。然而，在大规模语料场景下，现有的数据精炼方法在质量、效率与可靠性方面面临显著局限：基于规则的方法受限于固定启发式策略，难以处理实例级的差异性；基于 LLM 的方法虽能提升质量，却无法满足大规模数据处理对效率和可靠性的要求。
核心内容
针对上述挑战，本文提出 UltraX——一个面向大规模预训练数据的函数调用精炼框架。该框架通过引入 插入（insertion）操作，在原有的删除（deletion）和修改（modification）基础上补全了编辑函数空间，从而能够实现细粒度的实例级编辑。
具体而言，UltraX 构建了一条可靠的程序监督生成管线（program-supervision generation pipeline）：
- 数据集自适应提示优化（dataset-adaptive prompt optimization）：首先引导一个专家级 LLM 生成高质量的端到端精炼文本。
- 行对齐映射（Line Alignment Mapping）与动态上下文替换（Dynamic Context Replacement）：将原始文本与精炼文本构成的对转换为结构化的程序监督（program supervision）。
- 低置信度示例过滤（low-confidence example filtering）与按操作组合的比例控制采样（ratio-controlled sampling by operation combination）：用于提升监督质量并稳定训练分布。
在推理与执行阶段，UltraX 通过滑动窗口预测（sliding-window prediction）、**全局操作聚合（global operation aggregation）以及系统性后处理（systematic post-processing）**来归一化和验证模型输出，从而提升大规模执行的稳定性与可靠性。
实验结果证明，UltraX 在所有语料上取得了最高的平均性能，并且在更少的训练 token 下能与基线持平或超越基线，展现出更强的数据效率与精炼可靠性。
关键要点
- UltraX 补全了编辑函数空间，在删除和修改之外引入了插入操作，实现了更细粒度的实例级编辑。
- 使用数据集自适应提示优化让专家 LLM 生成高质量精炼文本，再通过行对齐映射和动态上下文替换将文本对转化为结构化程序监督。
- 通过低置信度示例过滤和按操作组合的比例控制采样来提升监督质量、稳定训练分布。
- 推理时采用滑动窗口预测、全局操作聚合和系统性后处理，确保大规模执行下输出的归一化和验证。
- 在多个语料上，UltraX 平均性能最高，且能在更少训练 token 下达到或超越基线，表明数据利用效率和精炼可靠性均有显著提升。
意义与影响
UltraX 代表了一种在大规模预训练数据精炼方向上的范式改进：从依赖固定规则的启发式方法或昂贵的 LLM 逐条改写，转向可编程、可泛化的函数调用框架。其关键创新——补全插入操作并构建程序监督生成管线——解决了现有方法在效率、质量和可靠性之间的三角困境。该工作表明，当数据数量达到瓶颈时，通过结构化、程序化的精炼方法可以更高效地从现有数据中挖掘质量提升空间，从而延续 Scaling Laws 的有效性。此外，UltraX 的自适应提示优化和稳定化采样策略为未来大规模数据自动化清洗提供了可复用的工程范式。