Show HN: NanoEuler – 从零构建的纯 C/CUDA GPT-2 级语言模型

背景

在深度学习领域，大多数开发者习惯于使用 PyTorch、TensorFlow 等高级框架，依赖自动微分（autograd）和现成的机器学习库来构建模型。然而，对于希望深入理解底层原理的研究者和工程师而言，这种“黑盒”式的开发方式往往掩盖了模型训练和推理的真实细节。

NanoEuler 项目正是在这种背景下诞生的。它是一个完全从零开始（from scratch）构建的语言模型，旨在展示如何在不依赖任何外部 ML 库的情况下，仅使用 C 语言和 CUDA 编写完整的训练管线。该项目由 Leonhard Euler（莱昂哈德·欧拉）命名，不仅致敬了这位数学巨匠，也隐喻了其核心架构中残差连接与欧拉积分方法的数学联系。这是一个公开的、用于研究和教育的工程制品，其核心目标并非制造一个可用的商业产品，而是提供一套完整、透明且可理解的训练流水线。

核心内容

NanoEuler 的核心在于其“纯手工”的工程实现。整个项目没有使用 PyTorch 或任何自动微分工具，前向传播和反向传播过程均由人工编写并经过严格验证。

1. 架构设计与数学隐喻

NanoEuler 采用了解码器（Decoder-only）Transformer 架构，这是当前主流大语言模型的基础结构。其命名灵感来源于残差块（Residual Block）的数学本质： $$ x = x + f(x) $$ 这一公式可以被解读为常微分方程 $dx/dt = f(x)$ 的前向欧拉法（Forward-Euler method）的一步离散化： $$ x(t+\Delta t) = x(t) + \Delta t \cdot f(x(t)) $$ 当步长 $\Delta t = 1$ 时，残差更新恰好等同于欧拉积分步骤。因此，深层残差网络可以被视为连续流的离散化表示，深度即为积分时间，每一层将隐藏状态向前推进一个欧拉步。这种视角与 Neural ODEs 的研究一脉相承。

2. 模型组件

模型包含以下关键构建模块，均遵循当前主流模型的设计惯例：

• RMSNorm：前置归一化（pre-norm），无偏置项。
• 旋转位置嵌入（RoPE）：应用于查询（queries）和键（keys）。
• SwiGLU 前馈网络：结构为 $down(silu(gate(x)) * up(x))$。
• 分组查询注意力（GQA）：查询头共享一组较小的键/值头，以平衡效率与性能。
• 多令牌预测（MTP）：输出头预测接下来的 $K$ 个令牌；辅助头改善学习到的表示并支持投机解码（speculative decoding），生成时仅使用第 0 个头。
• 无偏置设计：模型中任何地方均不使用偏置项。
• 分词器：手写实现的字节级 BPE（Byte-level BPE）分词器，采用 GPT-2 风格的预处理（前导空格附着于后续单词，避免空格被浪费为独立令牌）。GPU 模型使用 4096 个令牌大小的词表。

3. 训练管线与验证

NanoEuler 提供了一个完整的训练流水线，包括：

• 预训练：在书籍和网页混合语料库上进行。
• 监督微调（SFT）：将预训练模型转化为聊天模型。
• 验证机制：由于手写反向传播容易出错，项目对每个解析梯度都进行了双重精度（double precision）的中心有限差分验证。例如，make check 命令会验证梯度误差，确保所有参数张量（包括 RoPE、SwiGLU、GQA 和 MTP 的反向传播）的正确性。

4. 硬件与性能实现

• CPU 版本：使用 libm 和 OpenMP 并行化，可在 12 核 CPU 上快速训练小型展示模型（约 0.76M 参数）。
• GPU 版本：完全手写的 CUDA 引擎，利用 cuBLAS 进行矩阵乘法（使用 TF32 Tensor Cores），并实现了手写的 FlashAttention（分块、在线 softmax，避免 $T \times T$ 矩阵驻留内存）。
• 性能提升：FlashAttention 的实现使训练步骤速度提升了约 3 倍。
• 硬件要求：在单张 RTX 4070（Ada 架构, sm_89）上，可以训练一个约 1.16 亿参数（~116M parameters）的模型。

5. 模型能力与局限性

• 预训练效果：在部分预训练后，模型能生成具有流利语法、长从句和百科全书式语体的文本，但缺乏真正的世界知识。例如，输入 "Alessandro eat a"，模型可能生成 "Alessandro eat a icing textile..."，语法正确但语义荒谬。
• 聊天模型效果：经过 SFT 微调后，模型能遵循指令-回复格式，写出完整句子并自动停止，但内容浅显且常含错误。
• 诚实声明：作者明确指出，这是一个文本生成器，而非可用的助手。一个 ~1.35 亿参数的模型需要约 6000 亿个训练令牌才能成为基本助手，而本项目在单 GPU 上使用的语料库远小于此规模。

关键要点

• 零依赖构建：项目完全由 C/CUDA 编写，不依赖 PyTorch、autograd 或任何外部机器学习库。
• 数学本质：项目名 NanoEuler 致敬莱昂哈德·欧拉，揭示了 Transformer 残差连接与欧拉积分法（Neural ODEs 视角）的数学同构性。
• 完整管线：包含手写字节级 BPE 分词器、预训练、监督微调（SFT）全流程，RLHF/DPO 计划在列但尚未实现。
• 严格验证：通过双重精度中心有限差分法验证手写反向传播的正确性，确保梯度计算无误。
• 高性能内核：
  • 实现手写 FlashAttention（分块、在线 softmax），提升训练速度约 3 倍。
  • 利用 cuBLAS 进行矩阵乘法，支持 TF32 Tensor Cores。
  • 支持 GQA（分组查询注意力）和 MTP（多令牌预测）。
• 硬件配置：
  • CPU 版：12 核 CPU 数小时可训练小型模型（~0.76M 参数）。
  • GPU 版：单张 RTX 4070 可训练 ~116M 参数模型。
• 模型定位：
  • 属于 GPT-2-small 级别，英语流利但无实质世界知识。
  • 旨在展示从底层构建模型工程的完整性，而非提供可用的聊天机器人。
  • 微调后的聊天模型仅证明预训练到 SFT 管线的端到端可行性，内容浅显。
• 代码结构：
  • make check：验证反向传播（梯度检查，双精度）。
  • make：构建训练二进制文件。
  • ./nanoeuler train：训练小型展示模型。
  • ./nanoeuler train big：训练较大模型（需 GPU）。
  • ./nanoeuler chat：REPL 交互式聊天。

意义与影响

NanoEuler 项目的最大价值在于其教育意义和工程透明度。

1. 去黑盒化：它打破了高级深度学习框架的抽象层，让开发者能够直观地看到从数据预处理、前向传播、反向传播到梯度更新、模型保存的每一个步骤。这对于理解 Transformer 内部运作机制、优化底层算子以及排查复杂训练问题具有极高的参考价值。
2. 底层优化实践：项目展示了如何在没有现成库的情况下，手动实现