Pulpie发布：专为清理网页数据打造的模型

背景

互联网数据是大语言模型（LLM）的命脉。模型在预训练阶段从海量网页中学习世界知识，在推理阶段则从上下文中提取相关信息。然而，一个典型 HTML 页面中约 70% 的块（blocks）属于导航、广告、侧边栏和页脚等样板内容（boilerplate），真正的主内容（main content）只占很小一部分。这种噪声极大影响了模型在两端（训练和推理）的表现。

现有网页主内容提取方案主要分为两类：基于结构的方法（如 Trafilatura、Readability、Boilerpipe）依靠标签、DOM 和文本密度等表层信号进行判断，速度快但容易将结构相似的导航表格和数据表格混淆；基于阅读的方法（如 Dripper）将页面送入 Transformer 逐个 token 生成标签，质量高但速度慢、成本高。如何在保持高质量的同时实现大规模、低成本的数据清洗，成为亟待解决的问题。

核心内容

Pulpie 是一族帕累托最优（Pareto-optimal）的 HTML 主内容提取模型，由开发团队（未具名）推出。其核心创新在于采用编码器（encoder）架构，通过一次前向传播即可为所有 HTML 块打上“内容”（content）或“样板”（boilerplate）标签。这种设计将速度瓶颈从内存带宽转移到计算上，从而实现更小、更快、更便宜的高质量提取。

模型组成
Pulpie 家族包含三个主要型号：

• Pulpie Orange Large（教师模型）：基于 EuroBERT-2.1B 微调，参数量 2.1B，ROUGE-5 F1 得分 0.873。
• Pulpie Orange Base：从教师模型蒸馏的 610M 参数编码器。
• Pulpie Orange Small：从教师模型蒸馏的 210M 参数编码器，推荐用于生产环境。

性能对比

• 质量：最小模型 pulpie-orange-small 在 WebMainBench 英语子集上得分 0.862 ROUGE-5 F1，与当前领先的提取器 Dripper（0.864）持平，但参数量仅为 Dripper 的 1/3（210M vs 600M）。教师模型以 0.873 超过 Dripper 0.9 个 F1 点。
• 速度：在 NVIDIA L4 GPU 上，pulpie-orange-small 每秒处理 13.7 个页面，而 Dripper 仅为 0.68 个页面；在 A100 上快 7.1 倍。
• 成本：以 L4 实例每小时 $0.39 计算，清洗 10 亿页面 Pulpie 仅需 $7,900，而 Dripper 需要 $159,000。

完整流水线

1. 简化 HTML：移除 script、style 等格式噪声，为每个块分配唯一 ID。
2. 分块（Chunking）：将块分割、分词并打包成不超过 8,192 token 的块，约 80% 的页面可单次通过模型。
3. 分类：一次前向传播，Pulpie 为每个块标注 content 或 boilerplate。
4. 返回：保留的内容块以 HTML 或 Markdown 格式返回。

训练数据与蒸馏

• 从 Common Crawl 采样 16,670 个英语页面（每域名一个），用 DeepSeek V3.2 为每个块标注 content/boilerplate，经过清洗后保留 15,880 个页面。
• 使用 Dripper 0.6B 作为第二标注器，在 15,880 个页面上与 DeepSeek 的块级一致率为 93.3%，保留两个标注器至少 70% 块达成一致的 14,959 个页面作为最终训练集。
• 教师模型在 14,959 个页面上微调 EuroBERT-2.1B，类别权重按 28.6% 的内容比例反向设置以平衡不平衡。
• 两个学生模型通过知识蒸馏（Hinton et al., 2015）学习：教师软化输出分布（温度 2.0）提供 70% 的 KL 散度损失，30% 来自硬标签交叉熵。蒸馏后的模型几乎保持教师质量：210M 模型仅低 1 个 F1 点，但规模缩小 10 倍。

质量与速度细节

• 在 WebMainBench 6,647 个英语页面（所有难度级别）上，Pulpie Orange Large 达到 0.873，超越 Dripper。Dripper 在 135 个页面上返回空结果（其中 130 个因超出 32k token 上下文窗口），而 Pulpie 通过 8,192 token 分块避免了长度溢出。
• 难度分解：所有方法在困难页面上表现下降，启发式方法从简单到困难下降 14-20 F1 点，编码器下降约 9 F1 点，Dripper 下降 10 F1 点。

数据质量的影响

• 预训练方面：AICC（Ma et al., 2025）在相同 Common Crawl 快照上分别用启发式和方法提取构建两个语料库，其他条件不变。模型在方法提取语料上训练平均准确率高出 1.08 个百分点，甚至超过了经过重度过滤的 FineWeb 和 RefinedWeb 训练出的模型。
• 推理方面：Shi et al.（ICML 2023）证明单条无关段落足以破坏模型的回答质量，干净的上下文使模型更准确、更高效。

关键要点

• Pulpie 家族包括三个模型：2.1B 教师模型（Pulpie Orange Large）、610M 和 210M 蒸馏学生模型。最小的 pulpie-orange-small 推荐用于生产。
• 质量与 Dripper 持平：210M 模型在 WebMainBench 上 ROUGE-5 F1 为 0.862，Dripper 为 0.864；教师模型 0.873 超越 Dripper。
• 速度提升显著：在 L4 GPU 上 pulpie-orange-small 处理 13.7 页/秒，Dripper 仅 0.68 页/秒，快 20 倍；在 A100 上快 7.1 倍。
• 成本大幅降低：清洗 10 亿页面仅需 $7,900（L4），而 Dripper 需 $159,000，成本降低 20 倍。
• 架构创新：编码器架构一次前向传播即为所有块打标签，避免了解码器逐 token 生成的速度瓶颈。
• 训练数据自行构建：利用 DeepSeek V3.2 和 Dripper 双重标注，通过一致率过滤获得高质量训练集，再蒸馏到小模型。
• 无上限上下文限制：通过分块机制（每块 8,192 token）避免页面过长导致的提取失败，Dripper 因 32k 限制遗漏 130 个页面。
• 数据质量提升预训练和推理：AICC 实验证明更好的提取器直接带来 1.08% 的平均准确率提升，超越依赖后期过滤的 FineWeb 和 RefinedWeb；Shi et al. 证明噪声上下文会破坏推理表现。

意义与影响

Pulpie 的出现标志着网页数据清洗从“高成本高质量”或“低成本低质量”的两难选择，迈入“低成本高质量”的新阶段。其帕累托最优特性意味着用户不再需要在质量与成本之间做出妥协。

• 推动 LLM 预训练数据质量提升：以往大规模预训练数据清洗主要依赖启发式规则或简单过滤，Pulpie 提供了模型级别的精确提取方案。AICC 实验已证实，仅改进提取逻辑就能显著提升下游性能。未来预训练数据管线有望广泛采用 Pulpie 类模型，从而在同等计算下获得更干净的学习信号。
• 降低推理成本，改善上下文管理：RAG（检索增强生成）和长上下文应用中，干净上下文能直接提升回答