OpenAI의 Jalapeño 칩, Nvidia 최고 제품 대비 3.6배 낮은 지연 시간 주장 — 하지만 이를 대체하지는 못할 것
OpenAI의 Jalapeño 칩은 추론 벤치마크에서 Nvidia GB200/GB300 슈퍼칩 대비 최대 3.6배 낮은 지연 시간을 제공하며, 모델 배포 효율성을 위한 수직 통합으로의 전환을 시사합니다.
OpenAI는 Broadcom과 함께 AI 추론을 위해 설계한 Jalapeño ASIC가 내부 테스트에서 NVIDIA의 GB200 및 GB300 슈퍼칩을 크게 능가한다고 주장한다. 결과는 DeepSeek R1 및 Kimi K2.5 1T와 같은 모델에서 와트당 1.5 ~ 1.9 배 더 많은 AI 작업과 1.7 ~ 3.6 배 더 낮은 지연 시간을 보여준다. 2026 년 말에 소량으로 배포가 시작되어 2027 년에 크게 확대될 예정이다. 하드웨어 담당 부사장 Richard Ho는 Jalapeño가 일반적으로 절충이 필요한 지연 시간-처리량 균형을 제공하지만 OpenAI는 전체 생태계를 대체하는 대신 계속 NVIDIA 칩을 사용할 것이라고 강조했다.