构建韩国语歧义解析器：无需 GPU，纯 CPU 实现 7,300 词/秒

背景

Kimchi Reader 是一款面向韩语学习者的沉浸式阅读工具。其核心痛点在于韩语的形态学特性：韩语是一种黏着语，高度屈折变化，一个表面词形（surface form）往往由多个词干、助词和词尾堆叠而成。这意味着同一个词形可能对应多种不同的词典原形（lemma）。

作者的核心词形还原器（Lemmatizer）基于 Rust 编写，采用基于规则的策略。它能以多线程方式每秒处理超过 10 万个词，快速探索单词所有合法的分解方式并返回所有可能的原形。虽然这一过程可靠且极快，但不可避免地会产生“歧义”——即一个词形对应多个合法的原形选项。

对于普通用户而言，这种歧义并非大问题，因为用户可以根据上下文自行判断。然而，对于 Kimchi Reader 的统计功能（如词汇频率统计、阅读进度分析等）而言，歧义会导致数据在所有层级上失真。为了解决这一问题，作者需要引入一个模型来在规则引擎产生的候选集中进行消歧。

这一需求面临两个严格的约束：

1. 极速响应：必须能够预先解析整本书或整部电影的字幕，因此速度至关重要。
2. 辅助定位：模型仅作为建议层，不替换规则引擎。它被限制在一个封闭的候选集中进行选择，不能“幻觉”出不存在的原形，因此即使准确率不是 100% 也是可以接受的。

作者最初假设需要购买 GPU 服务器来解决此问题，但经过四次尝试，最终发现一个量化后的轻量级模型在普通 CPU 上即可满足需求。

核心内容

作者详细记录了从 2023 年到 2026 年为解决这一技术难题所经历的四个主要尝试阶段：

第一阶段（2025年）：微调 Gemma 3 1B 作为序列到序列任务

作者最初将消歧任务视为序列到序列（seq2seq）的翻译任务：输入韩语句子，输出消歧后的韩语句子。

• 方法：采用经典的蒸馏管道。构建小规模黄金数据集，微调大模型（Gemma 3 27B）作为教师模型，生成约 800 万条合成数据，再微调小模型（Gemma 3 1B）。
• 结果：在 4090 GPU 上使用 vLLM 进行批量离线推理，速度约为 1,500 句/秒。虽然速度尚可，但准确率与速度均比预期低一到两个数量级。
• 结论：虽然最终部署了一个量化后的 ONNX 版本在 CPU 上运行（约 1-2 秒/句），但考虑到每月约 500 美元的 GPU 服务器成本以及未达标的准确率，作者决定终止该方案。

第二阶段（2025年）：句子相似度与嵌入向量

作者尝试利用嵌入（Embeddings）技术，通过上下文语义来匹配定义。

• 方法：预先计算词典中每个定义的向量，运行时解析句子并嵌入，然后选择与候选词定义向量余弦距离最近的选项。
• 结果：由于只比较规则引擎提供的两个候选项，这种方法避免了幻觉问题。然而，实际测试中，其准确率和推理速度均低于第一阶段。
• 结论：作者承认这更多是技术能力不足（skill issue）导致的快速放弃。但该阶段学到的技术后来被用于 Kimchi Reader 的字典、汉字和语法页面的语义搜索功能（仅使用原始余弦距离，无重排序）。

第三阶段（2025年）：从头训练纳米级 Gemma 3 模型

为了追求更低的延迟和更低的硬件成本，作者决定从头训练一个模型。

• 方法：跳过预训练，直接使用第一阶段生成的 800 万条合成数据。采用字符级分词器（Char-level tokenizer）而非 BPE，认为这更直观。使用 Rust 及其库 burn-rs 重新实现了 Gemma 3 架构，并在其中进行了训练和推理。
• 结果：训练出一个约 1500 万参数（15M-param）的模型。在约 200 个样本的手写测试集中，该模型的表现优于 Gemma 3 1B。作者还探索了推测解码（Speculative Decoding）的可能性。
• 结论：该模型被部署用于该功能，取代了缓慢的 Gemma 1B ONNX 版本。解析一两个句子仅需约 100 毫秒。虽然比“整本书”的目标仍有差距，但已足够作为实验性功能上线。

第四阶段（2026年）：Claude Code 带来的突破

2026 年初，作者开始使用 Claude（在 Opus 4.6 发布前），并深度依赖 AI 辅助编程（Vibe-coding）。

• 转变：随着代码生成成本的降低和效率的提升，作者得以更快速地迭代实验。
• 最终方案：作者最终选择了一个 1400 万参数（14M-param）的 KoELECTRA-small 模型。
  • 量化：模型被量化为 int8。
  • 推理引擎：使用纯 Rust 编写的自定义推理 crate，零新增依赖。
  • 性能：在单台 16 核 CPU 上，无需 GPU，即可实现每秒约 7,300 次消歧（disambiguations/second）。
• 结果：这一性能完全满足了预先解析整本书的需求，作者因此取消了购买 GPU 服务器的计划。

关键要点

• 硬件成本优化：通过模型量化（int8）和纯 Rust 自定义推理引擎，成功将原本需要 GPU 的推理任务迁移至普通 CPU，显著降低了基础设施成本。
• 模型选型策略：从大型 LLM（Gemma 3）转向轻量级编码器（KoELECTRA-small）。对于封闭候选集的排序/消歧任务，轻量级编码器往往比生成式 LLM 更高效且准确。
• Rust 在 ML 推理中的优势：作者使用 burn-rs 等 Rust 库进行模型训练和推理，实现了零依赖的高性能推理，证明了 Rust 在高性能 AI 推理场景下的潜力。
• 迭代式开发：从 seq2seq 翻译思路，到嵌入向量匹配，再到从头训练小模型，最后结合 AI 辅助编程优化，展示了通过不断试错找到最优解的工程路径。
• 任务定义明确：明确模型仅作为“建议层”，在规则引擎产生的封闭候选集中进行选择，允许一定的错误率，从而降低了对模型绝对准确性的要求，放宽了性能边界。

意义与影响

这一案例展示了在资源受限或追求极致效率的场景下，如何通过算法优化和工程创新来避免对昂贵硬件的依赖。

1. 边缘计算与低成本部署：证明了经过适当量化和优化的轻量级模型可以在 CPU 上实现极高的吞吐量。这对于需要在客户端或低成本服务器上运行 NLP 任务的应用（如离线阅读工具、移动端应用）具有重要的参考价值。
2. Rust 在 AI 基础设施中的地位：作者使用纯 Rust 构建推理 crate 并实现高性能，进一步推动了 Rust 在高性能计算和 AI 推理领域的应用，展示了其在内存安全和执行效率方面的优势。
3. 混合架构的实用性：结合确定性的规则引擎与概率性的轻量级模型，是一种兼顾可靠性与灵活性的实用架构。规则引擎保证基础覆盖率，轻量模型解决边缘歧义，这种混合模式在许多工业级 NLP 系统中具有借鉴意义。
4. AI 辅助编程的效能：作者提到 Claude Code 等工具使得实验迭代速度大幅提升，降低了尝试新技术（如从头训练模型、使用 Rust 重写架构）的门槛，加速了从概念到产品的转化过程。

最终，Kimchi Reader 的案例不仅是一个技术解决方案，更是一个关于如何在约束条件下通过工程智慧和工具创新达成目标的典型范例。