OpenAI 的首款定制推理加速器,把两项试验放在了一起。与博通共同开发的 Jalapeño,要回答一家掌握自身模型负载的实验室,能否借助专用芯片更高效地提供服务。项目所报告的九个月设计周期,则在检验这些模型能否加速工程工作,帮助设计未来运行下一代模型的硬件。
芯片已经存在:OpenAI 称工程样片达到了目标频率和功耗,并在实验室运行了机器学习任务。但更广泛的结果尚未确定。企业自行选择的吞吐测试、有限的初期部署,以及后续芯片修订,都说明可运行样片距离可靠的大规模生产集群仍有一段路。
围绕反复执行的推理任务设计
OpenAI 和博通在 2026 年 6 月公布 Jalapeño,作为计划中的多代计算平台的第一代。OpenAI 提供架构方向与负载知识,博通负责芯片实现,并贡献包括 Tomahawk 技术在内的网络能力。这种分工把模型服务需求与成熟的定制芯片供应商连接起来,而不是让 OpenAI 变成能够独立完成全部环节的半导体制造商。
推理是训练结束后运行模型。ChatGPT 回复、API 流量、编程会话与智能体,都会反复消耗内存、计算和网络资源。一个比较多条思路、调用多次模型的智能体任务,可能比简短回答需要更多推理计算。OpenAI 可以从产品中观察这些模式,再协调硬件、计算内核与服务软件。
Jalapeño 着重减少不必要的数据搬运,平衡计算、内存和网络。计算内核是执行加速器常用操作的软件程序。让相关计算单元持续获得数据,可能比添加负载无法充分利用的运算能力更重要。因此,OpenAI 所称更接近理论峰值的运行效果,应通过完整负载衡量,不能只看峰值规格。
OpenAI 硬件副总裁 Richard Ho 在 Hot Chips 2026 披露了 700 瓦额定功耗。报道所述测试负载中,持续实测功耗不高于 550 瓦;这不是对所有运行条件的保证。系统每机架有 128 颗加速器,每个 pod 有 2,048 颗 ASIC。披露的规格包括每机架 27.5 TB HBM4、每个封装 15.4 TB/s 内存带宽,以及每机架 1.7 exaflops 的四位计算能力。
这些数字的边界不同:机架内存不是单芯片内存,低精度峰值运算也不是应用成功率。比较有效产出时,必须同时保留模型质量、延迟、配置和功耗条件。
选定测试说明了什么
OpenAI 测试了 GPT-OSS-120B、DeepSeek R1 和月之暗面的 Kimi K2.5。能够运行外部模型,有助于回应最狭窄的质疑:架构并非只能执行一个 OpenAI 专有模型。但这不能证明它兼容所有未来架构,也不能消除模型迁移所需的工程工作。
公司称,在选定的竞品比较中,峰值吞吐下完成的工作量为对照系统的 1.5 至 1.9 倍,延迟也更低。相关报道提到了 Nvidia GB200 NVL72、GB300 NVL72 和 SemiAnalysis InferenceX 方法。模型、数值精度、批处理、延迟目标与软件成熟度都会改变结果。这些是 OpenAI 的测试,不是独立复现的通用排名。
OpenAI 表示最终测量尚在进行,并承诺披露更详细的技术结果。持续部署还会面对制造差异、网络拥塞、维修要求、可用性,以及需求变化下的实际利用率。实验室优势不等于服务在多大比例的真实请求中都能获得这种优势。
首代芯片在初始硅片之后也作了修订。报道说,B0 步进相对 A0 的每瓦性能最多改善 25%。步进指芯片设计修订版本,这在行业内并不罕见,但也再次说明快速完成流片与得到优化后的生产芯片是不同里程碑。不能把这项改善与另一组条件不同的基准结果直接叠加。
九个月指的是 RTL 到流片
Ho 所述九个月,是从初始寄存器传输级设计到流片。RTL 描述逻辑和数据流动;流片是将完成的设计交给制造。这一时段不包含研发、制造和部署整个计算平台所需的所有工作。
他给出的历史对照,是高性能 ASIC 项目通常需要约 18 个月至两年,即便能够复用现有知识产权。OpenAI 没有继承一套内部加速器架构。这个周期值得关注,但它仍是一个团队报告的具体时段,不是受控实验证明 AI 单独把所有芯片开发时间减半。
内部模型,包括 Codex 和连续更新的模型版本,协助了代码、调试、设计探索、验证与计算内核优化。经验丰富的工程师指导工作,并使用成熟的电子设计自动化工具。时序、信号完整性等物理签核检查仍然必不可少。这不是语言模型无人监督地设计并认证芯片。
模型本身在项目期间也在进步。后期优化计算内核时可用的工具,比项目初期更强。这种不断变化的辅助能力可以压缩迭代,却也让一个固定的生产率提升数字更难直接推广到其他项目。
OpenAI 没有在第一代采用三维堆叠、共封装光学等新兴技术,以降低集成风险。因此,九个月周期检验的是一个特定技术范围。以后加入这些功能,仍可能引入封装、验证和供应链约束,不能靠更快生成代码消除。机器学习用于芯片设计也早已存在;这次较独特的主张,是模型实验室在自己的硬件项目中广泛采用了内部模型。
专用化仍然需要多元供应链
Nvidia 的通用平台在训练、推理和科学计算中提供灵活性、成熟软件库、网络与开发工具。Jalapeño 选择更窄的目标,以换取对 OpenAI 熟悉的工作负载可能更高的效率。但只有当模型结构、数值格式和服务技术变化后,这些设计假设仍然有效,取舍才有价值。
OpenAI 仍需要 Nvidia、AMD、Cerebras 等供应商。Jalapeño 不是其前沿模型训练的替代品,内部总需求也超过一个芯片项目能够供应的规模。更可信的竞争影响,是把相当一部分反复发生的推理负载转离商用加速器,而不是将它们全部淘汰。
早期系统采用 AMD EPYC Turin 作为主机 CPU。Ho 将这归因于平台成熟度与合作方经验;当时 Nvidia Vera 作为独立主机选项被认为还不够成熟。这是特定交付时点的零部件选择,不是 AMD CPU 永久领先的证明。
Google TPU 的历史、Amazon Inferentia 和 Trainium、Microsoft Maia 以及 Meta 内部处理器,都说明大型且可预测的负载为何可能值得开发定制芯片。OpenAI 拥有细致的模型与产品知识,却没有同样悠久的云端芯片组织积累。博通帮助填补了这部分产业执行能力。
制造、封装、HBM、板卡、固件、网络设备与机架仍须协调到位。编译器、调试工具和计算内核移植能力,也要让模型在不发生不可接受质量变化的前提下迁移。掌握架构不等于掌握每一道瓶颈。
最终要看真实请求
当时公布的计划是 2026 年有限部署,2027 年扩大容量。Jalapeño 面向内部使用;Ho 没有排除更广泛供应的可能,但 OpenAI 预计自己的需求会消化可预见的供给。这限制了外部访问与比较结果的独立复现。
下一阶段更重要的证据,是承担了多少实际负载、利用率、可靠性和模型覆盖范围,而不只是装了多少芯片。更完整的报告应在相同质量与延迟约束下衡量效率。已深入开发的第二代,以及开始规划的第三代,将检验首代项目是否形成了可复用的工程能力,而非一次性的快速进度。
客户最早可能通过服务延迟、容量与 API 经济性感受到变化,而不是直接购买一颗芯片。Jalapeño 的战略重要性取决于能否将专用化转成长期稳定的有效产出。可运行硅片与 AI 辅助工程让这一检验有了实际基础,但并不让结果成为必然。
来源
OpenAI 公告 · 机架规格 · TPU 研究 · Ho 设计采访 · 工程知识库 · AI 辅助设计 · 行业对照报道
