用200英镑在消费级PC中运行数据中心级GPU：一次极客式的本地LLM推理实验

背景

随着大型语言模型（LLM）本地部署需求的激增，显存（VRAM）容量和内存带宽成为了制约推理速度的关键瓶颈。对于普通玩家或开发者而言，想要运行参数量较大的模型（如27B参数模型），消费级显卡往往显得力不从心。

作者此前拥有一张 NVIDIA RTX 4080（16GB 显存），虽然足以应对游戏需求，但在运行本地大模型时显得捉襟见肘。升级至更高显存的消费级显卡（如 RTX 5090）成本高昂，动辄超过2000英镑。为了以极低的成本获得更大的显存和更高的内存带宽，作者决定另辟蹊径：购买一张原本用于数据中心服务器、不具备标准 PCIe 接口的 NVIDIA Tesla V100 SXM2 显卡，并通过改装将其集成到自己的游戏 PC 中。

核心内容

1. 硬件选择：为何是 Tesla V100？

作者选择的目标硬件是 Tesla V100 SXM2 16GB。这是一款专为 NVIDIA DGX 服务器和超大规模数据中心机架设计的 GPU，具有以下显著特征：

• 接口特殊性：采用 SXM2 封装，没有标准的 PCIe 插槽，没有显示输出接口，也没有常规电源接口。它通过专有主板连接，并通过 NVLink 通信。
• 性能参数：基于 Volta 架构，拥有 5120 个 CUDA 核心和 16GB HBM2 显存。
• 极高的内存带宽：V100 拥有 4096-bit 显存总线，带宽高达 900 GB/s。

带宽对比优势：

• 对比 RTX 4080：RTX 4080 的 GDDR6X 显存带宽为 736 GB/s。V100 的带宽比 2022 年发布的 RTX 4080 高出 22%。
• 对比 Apple Silicon：Apple M3 Max (400 GB/s)、M4 Max (546 GB/s) 甚至售价超 3000 英镑的新款 M5 Max (614 GB/s) 的带宽均低于 V100。
• 对比 AMD 竞品：AMD RX 7900 XTX 虽拥有 960 GB/s 带宽，但其售价超过 700 英镑，且 ROCm 生态对 LLM 推理的支持远不如 CUDA 成熟。V100 以不到 1/4 的价格提供了 7900 XTX 94% 的带宽，且完美兼容 llama.cpp。
• 唯一超越者：仅 RTX 5090 (1,792 GB/s) 在带宽上大幅领先，但其价格超过 2000 英镑。

在 LLM 推理中，内存带宽是决定每秒生成 token 数（tokens per second）的主要瓶颈，因此 V100 的高带宽极具性价比。

2. 连接方案：SXM2 转 PCIe 适配器

由于 V100 SXM2 无法直接插入主板，作者购买了一个非官方的 SXM2-to-PCIe 适配器。

• 成本：适配器约 50 英镑（大部分成本可能来自铜材）。
• 总成本：显卡约 150 英镑 + 适配器 50 英镑 = 200 英镑。
• 效果：成功将 V100 插入主板，与 RTX 4080 共存，实现 32GB 总显存。相比之下，单张 32GB 显存的 RTX 5090 售价超 2000 英镑。

3. 散热难题：从“地狱风扇”到静音运行

V100 SXM2 设计用于 2U 服务器的工业级强冷环境，其自带风扇噪音极大。

• 噪音问题：适配器自带风扇噪音高达 82 分贝（介于垃圾处理器和割草机之间），且默认以 100% 转速运行，不可控。
• 解决方案：
  1. 引脚测试：作者通过万用表和电池测试，确认风扇引脚符合标准机箱风扇定义（尽管接口不同）。
  2. PWM 控制：将风扇的 Tachometer（转速监测）和 PWM（脉冲宽度调制）引脚连接至主板风扇接口。
  3. 线材改造：由于适配器风扇接口为 JST PH2.0（2.0mm 间距），而主板为标准的 2.54mm 间距，作者使用了一根 2.54mm 公头转 PH2.0 母头的跳线进行连接。
• 结果：风扇转速被限制在 10%，满载温度不超过 50°C，噪音降至可接受范围。

4. 软件与驱动配置：NixOS 的优雅处理

在软件层面，由于 V100 基于较老的 Volta 架构，而 RTX 4080 基于较新的 Ada 架构，驱动兼容性成为挑战。

• 驱动版本：NVIDIA 从 560 分支开始放弃对 Volta 的支持。兼容两者的最后驱动分支是 550.x（在 NixOS 中映射为 nvidiaPackages.legacy_535）。
• CUDA 版本：该驱动仅支持 CUDA 12.2。由于当前 NixOS 默认提供 CUDA 12.6+，作者需要从 nixpkgs 24.05 分支拉取 CUDA 12.2。
• 内核要求：旧版驱动仅支持 Linux 6.6 内核。
• X Server 依赖：尽管是无头（Headless）推理服务器，但必须启用 services.xserver.enable = true，否则 NVIDIA 内核模块无法加载。

5. 推理性能：双卡协同

• 模型运行：使用 llama.cpp 进行张量分割（Tensor Splitting），将 270 亿参数模型分布在 RTX 4080 和 V100 上。
• 性能表现：数据通过 PCIe 总线在两张卡之间流水线传输。虽然速度不如单张 32GB 显卡，但实现了 32 tokens/秒 的推理速度。
• 功耗：V100 满载功耗约为 150W，对于本地推理而言完全可接受。

关键要点

• 极致性价比：通过二手数据中心硬件（Tesla V100 SXM2）和非官方适配器，仅花费 200 英镑 就获得了 32GB 的高带宽显存，成本仅为高端消费级显卡（如 RTX 5090）的 10%。
• 带宽优势：V100 的 HBM2 显存提供 900 GB/s 的带宽，远超同价位的消费级显卡，甚至优于多款高端 Apple Silicon 芯片，这对 LLM 推理速度至关重要。
• 硬件改装必要：SXM2 接口显卡需配合 PCIe 适配器使用，且必须解决散热问题。作者通过改装风扇控制线，成功将 82dB 的噪音降至静音水平。
• 软件兼容性挑战：混合新旧架构 GPU 需要精确匹配驱动版本（NVIDIA 550.x 分支）和 CUDA 版本（12.2），并可能需要特定的内核版本（Linux 6.6）及启用 X Server 服务。
• 扩展性：V100 还有 32GB 版本，若使用两张 32GB V100 并通过 NVLink 连接，可获得 64GB 显存，成本仍远低于单张高端