Mesh LLM 在 iroh 上实现分布式AI计算

背景

当人们想象运行大语言模型时，脑海中浮现的通常是数据中心：一排排属于别人的 GPU、按量计费的 API，以及随着业务增长每月递增的账单。你将提示词发送给一个黑盒，祈祷价格、模型和隐私政策都保持着你注册时的样子。

对许多团队而言，这是一种糟糕的权衡。你放弃了控制权：无法决定模型何时更新、数据流向何处、以及工作负载运行在什么硬件上。而随着使用量增长，账单也随之增加，唯一能做的只有“多付钱”。

核心内容

Mesh LLM 提供了一种不同的模式。它汇集你已有的 GPU 和内存，跨越任意数量的机器，并将整个集群暴露为一个兼容 OpenAI 的 API。启动一个节点，后续再添加更多。让网格决定模型是在当前机器上运行、路由到对等节点、还是跨多台机器拆分。

问题：AI 很贵，而且是别人的

主流模型是单体式架构。大多数人通过 UI 或 API 密钥访问它们，向大型提供商付费来运行一切。这很方便，但也是一种妥协。你无法控制模型何时更新、运行在什么内存中、以及底层是什么硬件。

许多依赖这些模型的企业和服务希望得到相反的东西：更多控制权、更强可插拔性、更低成本。它们的 GPU 散落在办公室、壁橱、桌下。它们缺少的是一种让这些机器协同工作的方式。

Mesh LLM：自己运行模型

其理念很简单：无需购买更大的 GPU 就能运行更大的模型。在团队内私密地共享计算资源，或向世界公开共享，以驱动智能体和聊天。将任意 OpenAI 客户端指向 http://localhost:9337/v1，然后不再关心实际工作发生在哪里。

在底层，Mesh LLM 将模型计算分布在一个由 iroh 端点组成的网格上。一个请求可以通过三种方式处理：

• 在本机 GPU 上本地运行。
• 路由到已加载该模型的对等节点。
• 将单个机器无法容纳的大模型跨多台机器拆分为流水线。

工作方式

架构是可插拔的。插件在清单中声明其提供的能力，运行时启动它们、路由调用、并通过 MCP、HTTP、推理和网格事件暴露其能力。目录自带 40 多个模型，从适合笔记本电脑的 5 亿参数模型到 2350 亿参数的混合专家模型。

对于大型模型，Mesh LLM 提供了拆分模式（内部称为“Skippy”）。模型按层范围划分为阶段：第 0-15 层在一个节点上，第 16-31 层在下一个节点上，以此类推，形成流水线。激活值从一个阶段流向下一个阶段，因此几台普通机器可以运行一个它们单独都无法容纳的模型。OpenAI 客户端对此一无所知，它仍然只与 localhost 通信。

如何使用 iroh

每个节点，无论它是提供模型服务还是只发送请求，都会启动一个 iroh 端点。该端点就是节点的身份（一个公钥），也是其唯一的网络接口。没有中央服务器。iroh 负责打洞、NAT 穿越和中继回退，从而在任意两个节点之间建立直接、经过认证的 QUIC 连接，无论它们位于何处。

为了在开放互联网上保持连接，Mesh LLM 在不同区域运行了两个 iroh 中继，因此无法直接互通的节点始终有附近的中继路径可用。

整个协议基于 QUIC 的 ALPN 协商。共有三种协议：

• 在 mesh-llm/1 主连接内部，所有内容都是双向 QUIC 流，通过一个单字节标记来标识流类型。一个连接承载了 gossip、推理、路由查询和节点生命周期事件，全部通过该首字节进行多路复用。

其巧妙之处在于：iroh 提供了经过认证、可穿越 NAT 的 QUIC 连接，通过公钥寻址任意两台机器。因此，“路由到对等节点”和“将激活值流式传输到下一个流水线阶段”变成了与“与 localhost 通信”相同的基本操作，只是端点 ID 不同。网络不再是你需要操心的事情。

iroh 提供安全传输层，Mesh LLM 在其之上构建自己的 gossip 层，从而精确控制哪些节点被允许加入网格、哪些版本兼容、以及哪些对等节点可信。

开始使用

用户可以安装轻量级软件（约 18 MB），然后加入公共网格或配置私有部署。系统以 localhost:9337/v1 的形式呈现给任意标准 OpenAI 客户端。

基于 iroh 的 Swift SDK，移动端应用正在开发中。计划支持新兴的智能体标准 ACP，以便其他客户端也能加入网格。贯穿始终的理念与项目初衷一致：更多点对点，更少封闭服务器，零锁定。

要开始使用，请查看文档、直接阅读代码，或在 Discord 频道与我们交流。

关键要点

• 分布式 AI 计算架构：Mesh LLM 将分散的 GPU 和内存资源汇集成一个统一的 OpenAI 兼容 API，让用户无需依赖大型云提供商。
• 三种运行模式：本地 GPU 运行、路由到已加载模型的对等节点、跨多台机器流水线拆分大模型（Skippy 模式）。
• 基于 iroh 的对等网络：每个节点以公钥为身份标识，通过 iroh 实现 NAT 穿越、中继回退和认证的 QUIC 连接，无需中央服务器。
• 可插拔设计：插件声明清单，运行时管理路由和调用；支持 40 多个模型，从 5 亿到 2350 亿参数。
• 客户端透明：任何 OpenAI 客户端只需指向 localhost:9337/v1，无需关心底层分布式细节。
• 轻量级部署：软件约 18 MB，可加入公共网格或私有部署；移动端应用正在开发中，并计划支持 ACP 智能体标准。

意义与影响

Mesh LLM 代表了一种去中心化 AI 计算的新范式。它挑战了当前由少数大型云提供商主导的模型服务模式，让团队能够利用现有硬件资源（如办公室、实验室的 GPU）运行大型语言模型，从而大幅降低成本和依赖。

对于依赖 AI 模型的企业，它提供了更强的控制权：模型版本、数据隐私、硬件选择均由自己掌控。同时，它通过点对点网络和流水线拆分技术，使得原本需要昂贵高端 GPU 才能运行的模型，可以在多台普通机器上协同工作。

从技术层面看，Mesh LLM 展示了如何将成熟的 iroh 点对点网络库应用于 AI 推理场景，为分布式计算提供了可复用的网络层抽象。其开源、可插拔的架构也鼓励社区贡献和定制化部署。

长远来看，这种去中心化、用户自控的 AI 计算模式可能推动更多隐私敏感、成本敏感的场景采用本地化推理，减少对集中式 API 的依赖，促进 AI 能力的民主化。