OpenAI의 첫 자체 추론 가속기는 두 실험을 결합한다. 브로드컴과 개발한 Jalapeño는 모델의 작업 부하를 잘 아는 연구소가 전용 실리콘으로 더 효율적인 서비스를 제공할 수 있는지 묻는다. 보고된 9개월 설계 기간은 같은 모델이 후속 모델을 실행할 하드웨어의 개발도 앞당기는지 시험한다.
칩은 실제로 존재한다. OpenAI는 엔지니어링 샘플이 목표 주파수와 전력에 도달했고 연구소에서 머신러닝 작업을 실행했다고 밝혔다. 더 큰 성과는 아직 확정되지 않았다. 회사가 고른 성능 비교, 제한적인 초기 배치, 이후 실리콘 개정은 작동하는 샘플과 믿을 수 있는 생산용 장비군 사이의 거리를 보여준다.
반복되는 추론에 맞춘 프로세서
OpenAI와 브로드컴은 2026년 6월 여러 세대로 이어질 플랫폼의 첫 칩으로 Jalapeño를 공개했다. OpenAI는 아키텍처와 부하 정보를, 브로드컴은 실리콘 구현과 Tomahawk를 포함한 네트워크 기술을 제공했다. 모델 서비스 요구를 경험 있는 맞춤형 칩 업체와 연결하는 분업이지, OpenAI가 모든 반도체 공정을 자급한다는 뜻은 아니다.
추론은 학습이 끝난 모델을 실행하는 과정이다. ChatGPT 응답, API 요청, 코딩 세션과 에이전트는 메모리·계산·네트워크를 계속 소비한다. 여러 경로를 검토하거나 모델을 반복 호출하는 에이전트는 짧은 답변보다 훨씬 많은 추론을 요구할 수 있다. OpenAI는 제품에서 패턴을 관찰하고 하드웨어, 커널, 서비스 소프트웨어를 함께 조정할 수 있다.
Jalapeño는 불필요한 데이터 이동을 줄이고 계산·메모리·네트워크의 균형을 잡는다. 커널은 가속기의 반복 연산을 수행하는 소프트웨어 루틴이다. 사용되지 않는 연산기를 더하는 것보다 필요한 장치에 데이터를 지속 공급하는 것이 중요할 수 있다. 이론상 최대치에 가깝게 동작한다는 주장도 최고 사양만이 아니라 전체 부하로 검증해야 한다.
하드웨어 부사장 Richard Ho는 Hot Chips 2026에서 정격 700와트를 공개했다. 보도에 따르면 시험한 작업의 지속 실측 소비는 550와트 이하였지만 모든 조건의 보장은 아니다. 랙당 가속기 128개, 포드당 ASIC 2,048개다. 공개 사양은 랙당 HBM4 27.5TB, 패키지당 초당 15.4TB 메모리 대역폭, 랙당 4비트 연산 1.7엑사플롭스를 포함한다.
각 수치의 경계는 다르다. 랙 메모리는 칩 하나의 메모리가 아니며 저정밀 최대 연산량은 애플리케이션 성공률이 아니다. 유용한 비교는 전력뿐 아니라 모델 품질, 지연과 구성을 일치시켜야 한다.
선별된 비교가 보여주는 범위
OpenAI는 GPT-OSS-120B, DeepSeek R1, 문샷AI의 Kimi K2.5를 시험했다. 외부 모델 실행은 한 가지 자체 모델만 지원한다는 좁은 우려에는 답한다. 미래의 모든 아키텍처와 호환되거나 모델 이전의 엔지니어링이 필요 없다는 증거는 아니다.
회사는 선택한 경쟁 플랫폼 비교에서 최대 처리량 기준 작업량이 비교 시스템의 1.5~1.9배이고 지연도 낮았다고 보고했다. 당시 보도는 Nvidia GB200 NVL72와 GB300 NVL72, SemiAnalysis InferenceX 방법론을 명시한다. 모델, 정밀도, 배치 크기, 지연 목표와 소프트웨어 성숙도가 결과를 바꾼다. OpenAI의 측정이지 독립적으로 재현된 보편적 순위가 아니다.
OpenAI는 최종 측정을 계속하며 더 자세한 기술 보고를 약속했다. 지속적인 실제 운영에는 제조 편차, 네트워크 혼잡, 수리, 가동률, 변하는 수요에 따른 활용률이 더해진다. 실험실 우위가 실제 요청 중 얼마나 자주 나타나는지는 별도 문제다.
초기 실리콘 뒤에는 설계 개정도 있었다. 보도는 B0 스테핑이 A0보다 와트당 성능을 최대 25% 개선했다고 전한다. 스테핑은 칩 설계 개정이며 흔한 절차다. 다만 빠른 테이프아웃과 최적화된 생산 부품은 서로 다른 이정표다. 다른 조건에서 나온 벤치마크에 그 개선치를 설명 없이 합산해서는 안 된다.
9개월은 RTL부터 테이프아웃까지
Ho가 말한 9개월은 초기 레지스터 전송 수준 설계에서 테이프아웃까지다. RTL은 논리와 데이터 이동을 정의하고, 테이프아웃은 완성한 설계를 제조에 넘긴다. 전체 플랫폼을 개발하고 생산·배치하는 모든 활동을 포함한 기간이 아니다.
그의 과거 비교는 기존 지식재산을 재사용해도 고성능 ASIC에 약 18개월~2년이 필요했다는 것이다. OpenAI에는 물려받은 내부 가속기 아키텍처가 없었다. 의미 있는 보고이지만 한 팀의 특정 구간이지, AI만으로 모든 칩 개발 시간을 절반으로 줄였다는 통제 실험은 아니다.
Codex와 연속된 내부 모델 세대가 코드, 디버깅, 설계 탐색, 검증과 커널 최적화를 도왔다. 숙련된 엔지니어가 작업을 이끌고 기존 전자설계자동화 도구를 사용했다. 타이밍과 신호 무결성 등 물리적 승인 검사는 계속 필요했다. 언어 모델이 감독 없이 칩을 설계하고 인증한 것이 아니다.
프로젝트 도중 모델도 좋아졌다. 후반 커널 작업에 쓴 도구는 초기에 사용한 것보다 강력했다. 발전하는 지원은 반복을 단축할 수 있지만 고정된 생산성 수치를 다른 프로젝트에 옮기기는 어렵게 한다.
OpenAI는 첫 세대에서 3D 적층과 공동 패키징 광학 같은 신기술을 피하며 통합 위험을 낮췄다. 따라서 일정은 특정 기술 범위를 시험한다. 나중에 추가하면 더 빠른 코드 생성으로 없앨 수 없는 패키징·검증·공급 의존성이 생길 수 있다. 머신러닝의 칩 설계 활용도 이전부터 있었다. 이번의 차별적 주장은 모델 연구소가 자체 하드웨어 계획의 넓은 범위에 내부 모델을 적용했다는 점이다.
전용화에도 여러 공급업체가 필요하다
Nvidia의 범용 플랫폼은 학습, 추론과 과학 계산에 유연성, 성숙한 라이브러리, 네트워크와 개발 도구를 제공한다. Jalapeño는 OpenAI가 잘 아는 부하에서 효율을 얻기 위해 목표를 좁힌다. 모델 구조, 숫자 형식과 서비스 방식이 달라져도 전제가 유효해야 이 선택이 이득이다.
OpenAI는 여전히 Nvidia, AMD, Cerebras 등이 필요하다. Jalapeño는 최첨단 모델 학습용 가속기를 대체하지 않으며 전체 수요는 한 프로그램의 공급량을 넘는다. 현실적인 경쟁 효과는 반복 추론의 상당 부분을 상용 가속기에서 옮기는 것이지 모든 외부 장비를 없애는 것이 아니다.
초기 시스템은 호스트 CPU로 AMD EPYC Turin을 쓴다. Ho는 성숙도와 협력사 경험을 이유로 들었고, 당시 Nvidia Vera는 독립 호스트 선택지로 덜 성숙하다고 판단했다. 특정 일정의 부품 결정이지 AMD CPU의 영구적 우위를 입증하지 않는다.
Google TPU, Amazon Inferentia·Trainium, Microsoft Maia와 Meta 내부 프로세서의 역사는 규모가 크고 예측 가능한 부하가 자체 칩을 정당화하는 이유를 보여준다. OpenAI는 모델과 제품을 잘 알지만 같은 기간 축적된 클라우드 칩 조직은 없다. 브로드컴이 그 산업적 간극을 메운다.
제조, 패키징, HBM, 보드, 펌웨어, 네트워크와 랙은 여전히 함께 준비돼야 한다. 컴파일러, 디버깅과 커널 이식은 용납하기 어려운 품질 변화 없이 모델을 옮겨야 한다. 아키텍처 통제가 모든 병목 통제를 의미하지는 않는다.
실제 요청으로 결과를 판단한다
당시 발표된 계획은 2026년 제한 배치, 2027년 용량 확대였다. Jalapeño는 내부용이다. Ho는 더 넓은 공급 가능성을 열어뒀지만 OpenAI는 예상 가능한 물량을 자체 수요로 소비할 것으로 봤다. 독립적 접근과 성능 재현에는 제약이 생긴다.
다음 증거는 설치 칩 수보다 실제 작업 비중, 활용률, 신뢰성과 모델 지원 범위다. 상세 보고는 동일 품질·지연 조건에서 효율을 비교해야 한다. 이미 개발이 깊이 진행된 2세대와 계획 중인 3세대는 첫 프로젝트가 재사용 가능한 엔지니어링 역량을 만들었는지, 일회성 일정이었는지 시험할 것이다.
고객은 구매할 칩보다 서비스 지연, 용량과 API 경제성에서 먼저 변화를 느낄 가능성이 높다. 전략적 중요성은 전용화를 지속적인 유용한 출력으로 전환하는 데 달렸다. 작동하는 실리콘과 AI 보조 개발은 시험에 실체를 주지만 결과를 보장하지 않는다.
출처
OpenAI 발표 · 랙 사양 · TPU 연구 · Ho 설계 인터뷰 · 엔지니어링 지식 기반 · AI 보조 설계 · 업계 비교 보도