从零构建复古大语言模型：一次极客式的历史穿越实验

背景

在人工智能领域，训练大型语言模型（LLM）通常被视为需要庞大算力、海量数据和复杂工程团队的“重资产”活动。然而，近期在 Hacker News 上引发关注的一篇博文《Making a vintage LLM from scratch》（从零构建复古 LLM），展示了一种截然不同的路径：个人开发者利用有限的资源，通过自建数据管道和训练脚本，仅使用 1900 年以前的英文文本，训练出了一个拥有 3.4 亿参数（340M）的基础模型。

这一项目的灵感源于 2024 年 2 月底，作者 Hayk Grigorian 在 Reddit 上发现的其他用户分享的“时间门控语言模型”实验。这些实验展示了仅使用 19 世纪伦敦文本训练出的模型能够生成具有历史感的抗议文本，激发了作者构建一个“维多利亚时代聊天机器人”的想法。尽管随后市场上出现了如 Violet-1B4-Chat、Mr. Chatterbox、GPT-1900 等更多历史类 LLM，但作者坚持每天（包括生病时）投入精力，完全自主完成了从数据清洗、分词、预训练到微调的全过程。

核心内容

项目概况与技术规格

该项目旨在构建一个“时间锁定”的历史语言模型。

• 模型架构：基于 Llama 架构，参数量为 340M（0.3B）。
• 语言与截止年份：仅支持英语，知识截止年份设定为 1900 年。作者承认严格限制年份存在误差风险，但已尽力通过元数据筛选实现。
• 开源情况：模型托管于 HuggingFace，代码完全开源。
• 硬件与成本：
  • 数据处理：在本地 PC 完成（配置：Cachy OS Linux, AMD Ryzen 7 9700X, 64GB RAM, Radeon RX 9070 16GB VRAM）。
  • 模型训练：小版本模型在本地训练，340M 大版本模型使用 RunPod、ThunderCompute 和 Vast.ai 等云服务。
  • 总成本：仅 GPU 租赁费用约为 80 美元。作者指出，若本地内存更大，数据处理速度可显著提升，尤其是去重环节。

构建流程：数据、分词、预训练与微调

作者将构建 LLM 的过程简化为四个核心步骤，并详细阐述了各自的挑战：

1. 数据（Data）：这是最漫长且枯燥的环节。由于不希望模型学习计算机、原子弹或航天器等现代概念，作者必须自建数据集。

   • 数据来源：包括 Project Gutenberg、Oxford Text Archive、Internet Archive、The British Library 等。
   • 筛选策略：严格筛选 1900 年以前的英文文档。对于无法确定年份或无明确日期标记的文档，即使质量较高也被忽略。
   • 元数据工程：作者创建了 Book-Metadata 数据集，试图确定古腾堡计划中书籍的出版年份，最终仅确认了 5300 本书的年份。
   • 去重难题：原本计划使用 MinHash 和嵌入向量相似度进行去重，但因速度过慢（在 RTX 3090 服务器上运行一周仅完成 10% 的数据集）而放弃，最终采用基于归一化文本的去重方法。

2. 分词（Tokenization）：将单词或字母转换为模型可理解的数字（Token）。作者强调 LLM 不理解语义，只处理数字。

3. 预训练（Pre-training）：即基础训练，让模型学习文本补全。对于 300M+ 参数的模型，这是最昂贵的步骤。作者初期因未随机化文件块且按字母顺序分词，导致模型在接触到包含大量 OCR 错误和破碎句子的“Time-Capsule”数据集后性能急剧下降。通过过滤劣质文档后，模型表现才趋于稳定。

4. 微调（Fine-tuning）：让模型学会对话式的问答交互。

开发工具与方法论

• 半“氛围编码”（Semi-vibe-coded）：作者使用 VS Code 配合 OpenRouter 上的 LLM 辅助编写代码，但强调对每一行代码都进行了人工检查和验证，确保完全理解其功能。
• 迭代试错：在确定最终模型前，作者进行了多次实验，包括训练一个基于 EleutherAI/pythia-14m 的小型玩具模型，通过观察验证损失和困惑度（Perplexity）的波动来调试数据管道。

免责声明与局限性

作者明确将此项目定义为“玩具/爱好级”LLM，并指出以下局限性：

• 幻觉与安全性：由于未进行对齐（Alignment）或审查，模型会生成符合当时历史背景但按现代标准视为有毒、冒犯或不安全的内容。这是为了保持历史准确性而有意为之。
• 时间边界模糊：无法保证模型严格局限于 1900 年以前，例如在“爱因斯坦测试”中可能会出错。

关键要点

• 低成本可行性：通过自建数据管道和利用本地算力处理数据，仅花费约 80 美元 GPU 费用即可训练出一个 3.4 亿参数的基础模型，证明了个人开发者在特定约束下构建 LLM 的经济可行性。
• 数据清洗是最大瓶颈：相比于模型训练，历史数据的获取、年份验证、去重和清洗占据了绝大部分时间和精力。现有的历史数据集质量参差不齐，需要大量人工干预。
• 去重计算成本高：传统的基于嵌入向量的去重方法在大规模数据集上计算成本极高，作者最终放弃了复杂算法，转而使用更高效的基于文本归一化的方法。
• 历史准确性与安全性冲突：为了保留 19 世纪的语言风格和历史语境，作者选择不进行安全对齐，导致模型输出可能包含现代视角下的不当内容。这揭示了在垂直领域（如历史研究）中，模型价值观对齐与领域真实性之间的权衡。
• 个人开发者的工程能力：作者展示了从数据预处理、分词器配置到分布式训练调度的全栈能力，强调了“完全理解每一行代码”对于调试和优化模型的重要性，而非仅仅依赖现成框架。

意义与影响

1. 降低 LLM 构建门槛的示范效应

该项目证明，构建专用领域（Domain-Specific）或特定风格（Style-Specific）的 LLM 不一定需要百万美元级的算力投入。通过精细的数据控制和合理的架构选择（如 340M 参数规模），个人开发者可以创造出具有独特价值的模型。这为教育、历史研究或特定文化保护领域提供了新的工具可能性。

2. 数据质量重于模型规模

在“大模型”热潮中，该项目强调了数据清洗和预处理的核心地位。作者遇到的困惑度跳跃、OCR 错误干扰等问题，直观地展示了“垃圾进，垃圾出”（Garbage In, Garbage Out）原则在 LLM 训练中的严峻性。对于希望构建高质量垂直模型的研究者而言，数据管道的稳健性比模型架构的微调更为关键。

3. 历史与文化的数字化保存

通过训练仅基于 1900 年前文本的模型，该项目实际上是在进行一种“语言考古”。它保留了维多利亚时代及之前的英语表达习惯、社会观念和文化语境。尽管存在安全风险，但这种未经现代价值观过滤的模型，对于研究历史文本、模拟历史人物对话或分析历史社会心态具有独特的学术价值。

4. 对开源社区与协作模式的贡献

作者完全开源了代码、数据处理脚本和模型权重，并详细记录了从失败实验（如 v2 toy model）到最终成果的全过程。这种透明的“失败日志”分享，为其他希望尝试自建 LLM 的开发者提供了宝贵的避坑指南，促进了开源社区中关于数据工程和训练技巧的知识共享。

5. 伦理边界的探讨

该项目的免责声明引发了关于 AI 伦理的新思考：当模型被设计用于重现特定历史时期的内容时，是否应该承担现代内容安全标准的责任？作者选择“历史准确性优先”的策略