보도에 따르면 OpenAI의 Jalapeño, 추론에서 Nvidia Blackwell·Rubin 능가
OpenAI의 첫 자체 추론 칩 'jalapeño'는 Nvidia Blackwell과 Rubin보다 1.5-1.9배 높은 효율성과 3.6배 낮은 지연 시간을 주장하며, Nvidia의 'CUDA 해자'가 끝날 가능성을 시사합니다.
OpenAI는 핫칩스 컨퍼런스에서 자사의 첫 자체 추론 칩인 'jalapeño'를 공개하면서, 와트당 처리량과 지연 시간에서 NVIDIA의 Blackwell과 Rubin을 능가한다고 주장했다. Broadcom과 협력하여 단 9개월 만에 OpenAI의 자체 모델을 사용하여 설계 및 최적화를 진행한 이 칩은 내부 테스트에서 GPT-OSS 120B에서 1,400 토큰/초, DeepSeek R1 670B에서 700 TPS를 제공했다. 이 칩은 투기적 디코딩 없이도 상당한 성능 향상을 보여주지만, 현재는 엔지니어링 샘플로만 존재하며 Rubin 시스템은 이미 고객에게 출하되고 있다.