OpenAI Jalapeño: Nvidia Blackwell을 앞선 LLM 추론 칩

OpenAI가 Broadcom과 공동 설계한 범용 LLM 추론 ASIC Jalapeño는 초기 A0 실리콘만으로 여러 오픈 모델에서 Nvidia Blackwell보다 높은 전력당 처리량을 기록했으며, Rubin의 공개 결과도 앞섬 HBM4와 단순화한 메모리·네트워크 구조, 작은 행렬에서도 효율적인 코어, 하드웨어·소프트웨어 공동 설계를 결합해 토큰/MW 최적화에 집중함 DeepSeek R1은 동시성 1에서 사용자당 700토큰/초 이상, GPT-OSS는 약 1,400토큰/초를 기록했지만, 수치는 OpenAI가 제공했으며 검증 범위도 단일 턴 8k1k InferenceX에 한정됨 Codex와 Gluon으로 수천 줄 규모의 저수준 커널을 빠르게 생성·조정하고, 프리필·디코드와 초안·검증 모델을 분리하지 않는 동질적 장치 풀로 운영 유연성과 데이터 지역성을 유지함 128개 ASIC으로 구성된 약 160kW 랙을 최대 16개 연결해 2,048 XPU까지 확장하며, 생산은 2027년에 점진적으로 늘어날 예정이어서 실제 경쟁력은 양산·배포·신뢰성과 AgentX 같은 현실적 워크로드에서 확인돼야 함 범용 추론 ASIC의 초기 성능 OpenAI는 2024년 중반 설계를 시작해 초기 채용부터 제조 테이프아웃까지 약 16개월 만에 Jalapeño를 개발함 Broadcom과 협력해 처음부터 LLM 추론용으로 설계했지만, 특정 OpenAI 모델에만 특화된 칩은 아님 연구실에서 InferenceX를 실행했으며, Codex 프롬프트만으로 포팅한 Doom도 구동함 1세대 칩은 경쟁력이 떨어지는 일반적 사례와 달리, 테스트한 여러 주요 오픈 모델에서 Nvidia·AMD·Google 칩보다 높은 결과를 기록함 특정 추론 단계에 과도하게 특화하지 않고 저지연부터 고처리량까지 다양한 운용 지점을 겨냥함 모든 비교 칩이 다중 토큰 예측(MTP)을 사용한 반면, Jalapeño 결과는 단일 토큰 예측(STP) 만으로 측정됨 모델별 결과는 다음과 같음 DeepSeek R1은 동시성 1에서 사용자당 700토큰/초 이상을 기록함 Kimi K2.5와 GPT-OSS는 약 1,400토큰/초/사용자까지 구동됐으며, GSM8k 결과는 Nvidia 칩과 동등한 수준이었음 Kimi K2.5는 약 700토큰/초/사용자에 도달했고, 100토큰/초/사용자 조건에서는 차순위 칩보다 9배 이상 높은 처리량을 보임 GPT-OSS의 동일 상호작용성 기준 MW당 처리량은 GB200...