OpenAI 与 Broadcom 联合发布专为大语言模型推理优化的芯片 Jalapeño

背景

随着大语言模型（LLM）在人工智能领域的广泛应用，对计算基础设施的需求呈现出指数级增长。传统的通用 GPU 架构虽然在过去几年中支撑了 AI 的发展，但在面对日益庞大的模型规模和复杂的推理任务时，逐渐显露出在能效比、延迟控制以及大规模扩展性方面的瓶颈。

为了突破这一限制，OpenAI 与半导体巨头 Broadcom 宣布建立战略合作伙伴关系。双方旨在通过硬件与算法的深度协同，解决 AI 系统中最具挑战性的环节——推理（Inference）。此次合作的核心成果便是代号为 Jalapeño 的定制 AI 芯片。该芯片并非通用计算设备，而是专为大语言模型的推理阶段量身定制，旨在通过底层硬件架构的创新，显著提升 AI 系统的性能、效率和可扩展性。

核心内容

OpenAI 与 Broadcom 正式推出了 Jalapeño，这是一款专为大语言模型（LLM）推理而设计的定制 AI 芯片。

Jalapeño 的设计初衷是为了应对 LLM 推理过程中特有的计算模式和数据访问需求。与训练阶段不同，推理阶段通常涉及大量的逐 token 生成过程，这对内存带宽、功耗管理以及低延迟响应提出了极高的要求。Jalapeño 通过优化硬件架构，专门针对这些痛点进行了改进。

根据官方披露，Jalapeño 的主要目标是在三个关键维度上实现突破：

1. 性能（Performance）：通过定制化的计算单元和数据流架构，提高每秒处理的 token 数量，降低用户等待时间。
2. 效率（Efficiency）：优化能源利用率，在提供同等或更高算力的同时，显著降低功耗和运营成本（TCO）。
3. 规模（Scale）：支持大规模集群部署，确保在成千上万张芯片协同工作时，依然能保持高效的通信和负载均衡，从而支持超大规模 AI 系统的稳定运行。

这一举措标志着 OpenAI 从单纯依赖通用硬件供应商，转向与半导体厂商深度合作定制专用芯片的战略转变。这种“软硬结合”的模式类似于 Google 开发 TPU 或 Amazon 开发 Graviton 芯片的路径，旨在通过底层硬件的优化来最大化上层 AI 模型的价值。

关键要点

• 联合开发：Jalapeño 由 OpenAI 与 Broadcom 联合研发，是双方深化战略合作的具体落地产品。
• 专用架构：该芯片并非通用 GPU，而是专为 LLM 推理场景优化的定制 ASIC（专用集成电路）。
• 三大核心优势：
  • 提升性能：针对推理负载优化，提高吞吐量。
  • 增强能效：降低单位计算功耗，提升整体系统效率。
  • 扩展能力：支持大规模集群部署，解决扩展性瓶颈。
• 战略意义：反映了头部 AI 公司正通过垂直整合硬件供应链，以获取竞争优势并控制成本。
• 当前状态：目前为官方首次披露，具体技术细节（如制程工艺、互联带宽、具体算力指标等）尚未在摘要中完全展开，但明确指向了“性能、效率和规模”的全面提升。

意义与影响

Jalapeño 的发布不仅是 OpenAI 和 Broadcom 的一次产品里程碑，更是整个 AI 基础设施行业的一个重要风向标。

首先，它标志着 AI 硬件定制化浪潮的加速。随着模型参数量的不断膨胀，通用 GPU 的边际效益正在递减。像 OpenAI 这样的顶级 AI 实验室开始深入参与芯片设计，以确保硬件能够完美匹配其模型架构和推理需求。这种趋势可能会在未来几年内成为行业常态，其他大型科技公司也将效仿这一路径。

其次，推理成本的优化至关重要。目前，LLM 的推理成本往往高于训练成本，且随着用户量的增加，推理开销呈线性甚至超线性增长。Jalapeño 对效率和规模的强调，直接指向了降低 AI 服务边际成本的目标。这将有助于推动 AI 应用更广泛地落地，使更复杂的模型能够以更低的价格服务于更多用户。

最后，这一合作加强了 OpenAI 在供应链上的自主可控能力。通过与 Broadcom 这样的半导体巨头合作，OpenAI 能够减少对外部通用硬件供应商的依赖，获得更具差异化的技术优势，从而在激烈的 AI 竞赛中保持领先地位。

总之，Jalapeño 的推出是 AI 从“软件定义”向“软硬协同”演进的关键一步，预示着未来 AI 基础设施将更加专业化、高效化和规模化。