Show HN: Autofit2 – 端到端的多语言文本分类流水线

背景

在自然语言处理（NLP）领域，文本分类是一项基础且广泛的任务。然而，传统的模型训练流程往往面临几个显著痛点：首先，多语言支持通常意味着需要为每种语言单独维护复杂的训练脚本和数据管道，缺乏统一性；其次，微调（Fine-tuning）大模型通常需要大量标注数据，而在实际业务场景中，获取成千上万条标注样本的成本极高；最后，从数据预处理、模型训练、评估到最终部署，各个环节往往由不同的工具链割裂完成，导致复现性差、透明度低，且难以追踪模型对环境的影响（如碳排放）。

针对上述问题，开发者发布了 Autofit2，这是一个基于 SetFit 和 SBERT（Sentence-BERT）嵌入技术构建的端到端自动化流水线。该工具旨在通过极少样本学习（Few-shot Learning）和完全自动化的配置驱动方式，解决多语言文本分类任务中的效率与标准化问题。它允许用户仅通过一个 JSON 配置文件，即可完成从数据加载、模型微调、性能评估到模型归档部署的全过程。

核心内容

Autofit2 的核心设计理念是“配置即代码”，通过结构化的 JSON 文件定义整个训练生命周期。以下是其工作流程及核心机制的详细解读：

1. 核心能力概览

• 少样本学习（Few-Shot Learning）：利用 SetFit 技术，仅需几十条标注样本即可实现 95%–99% 的高精度分类效果，极大降低了数据标注门槛。
• 大规模多语言支持：
  • 内置支持 20 种语言的预训练模型。
  • 拥有 50 多种语言的评估语料库。
  • 通过 Common Crawl 数据源，可扩展支持 100 多种语言。
• 全自动化流水线：从端到端的预处理、微调、评估到部署，全部由单一 JSON 配置文件驱动。
• 可复现性与透明度：
  • 基于 JSON 的配置确保实验可复现。
  • 自动生成 Model Card（模型卡片），包含训练细节、预期用途、性能指标及偏见评估。
  • 集成 CO₂ 排放追踪功能，关注模型训练的碳足迹。

2. 工作流程

Autofit2 的操作流程简化为四个步骤：

1. 准备数据（Prepare Data）：使用内置的 dataload 工具，或实现自定义的数据加载器，提供带有标签的示例数据。
2. 配置（Configure）：创建 myproject.json 文件，指定数据集路径、模型设置和输出目录。该配置支持多语言/多任务块结构。
3. 运行（Run）：执行命令 python train.py myproject.json。流水线支持断点续训（Resumable execution）。
4. 输出（Output）：
   • 可部署的模型归档文件（Model Archive）。
   • 生成的 Model Card，详细记录训练细节、预期用途、性能指标和偏见评估结果。

3. 配置结构详解

配置文件 myproject.json 是 Autofit2 的核心，其结构取决于目标类型：基础模型（Base Models，键为 all）或自定义模型（Custom Models，键为 custom）。

基础结构

{
  "<task-key>": {
    "<language-key>": {
      "base": {
        "model file": "<path>",      // 相对路径，无尾随斜杠
        "model type": "<string>",    // 例如 "bert"
        "pretraining task": "<string>", // 例如 "sentence similarity"
        "downstream task": "<string>"   // 例如 "binary text classification"
      },
      "targets": {
        "<id-key>": { ... } // 参见下方的 Target Options
      }
    }
  }
}

Targets（目标）类型

targets 字典支持三种特定的键类型，每种类型对应不同的行为：

1. all (基础模型)

   • 行为：生成完整的工件集（模型文件夹、归档文件、Model Card）。
   • 模型 ID：由配置文件名派生（格式：{config_name}-{task}-{lang}）。配置文件名必须保持稳定。
   • 用途：用于生产级的微调，通常使用全量数据进行训练，不进行显式评估分割。

2. custom (自定义模型)

   • 行为：生成完整的工件集（模型文件夹、归档文件、Model Card）。
   • 模型 ID：可自动生成一个 14–16 位的小写字母数字字符串。
   • 用途：适用于需要自定义模型标识符的场景。

3. benchmark 1..N (仅基准测试)

   • 行为：不生成模型工件。仅输出分数日志。
   • 约束：必须与 all 目标配合使用才能产生输出。
   • 用途：用于评估模型在特定基准数据集上的表现，基于已发表的基准数据集（如学术文献中的数据集）。

数据加载器（Loader）逻辑

loader 字段定义数据如何被摄入和转换，它期望接收一个命令列表（函数或变换）：

"loader": ["command_1", "command_2"]

• 命令定义：每个命令必须返回一个包含 text 和 label 键的字典列表。命令可以是原始加载器函数，也可以是包装后的变换（如列表推导式、Lambda 表达式）。
• 数据分割逻辑：
  • 如果包含 2 个命令且目标类型 != all：
    • 命令 1 → 训练数据
    • 命令 2 → 评估数据
  • 如果目标类型 == all：
    • 所有命令合并为单一数据集。
    • 分割比例：100/100（无分割；整个集合用于训练）。
  • 其他情况（如 custom 或包含 1 个命令的基准测试）：
    • 所有命令合并为单一数据集。
    • 分割比例：70/30（训练集/测试集）。

4. 配置示例解读

以下是一个针对希腊语（el）文本审核（mod）任务的配置示例，使用多语言句子转换器 paraphrase-multilingual-MiniLM-L12-v2。

{
  "mod": {
    "el": {
      "base": {
        "model file": "models-in/paraphrase-multilingual-MiniLM-L12-v2",
        "model type": "bert",
        "pretraining task": "sentence similarity",
        "downstream task": "binary text classification"
      },
      "targets": {
        "benchmark 1": {
          "description": "Pitenis et al. - Offensive Language Identification in Greek",
          "link": "https://arxiv.org/abs/20.03.07459",
          "loader": [
            "el_offense20(files=['offenseval2020-greek/offenseval-gr-training-v1/offenseval-gr-training-v1.tsv'])",
            "el_offense20(files=['offenseval2020-greek/offenseval-gr-testsetv1/offenseval-gr-test-v1-combined.tsv'])"
          ]
        },
        "all": {
          "loader": [
            "el_offense20()"
          ]
        }
      }
    }
  }
}

• Base Model Setup（基础模型设置）：
  • model file：指向预训练 Transformer 的路径。
  • model type：架构类型（如 BERT）。
  • pretraining task