OpenAI, 추론 비용 절반으로 인하 — 그런데 왜 GPU는 안 싸질까
OpenAI가 게스트 ChatGPT 사용자의 추론 비용을 50% 이상 삭감해 GPU 필요량을 수백 장 수준으로 낮췄습니다. 이러한 효율화는 칩 수요를 완화하지 않고도 마진을 높이거나 규모를 확장할 수 있게 해줄 수 있습니다.
OpenAI 엔지니어들은 로그인하지 않은 ChatGPT 사용자의 경우 추론 비용을 절반 이상 절감했다고 동료들에게 알렸다. 이로 인해 GPU 요구 사항이 몇 백으로 크게 줄어들었다. 이 조치는 제품의 가장 제한된 등급을 대상으로 하며 전체 플랫폼의 확장성에 대한 의문을 남겼다. 추론 최적화에 대한 집중은 DeepSeek의 새로운 오픈 소스 방법과 같은 업계 동향을 반영한다. 이 방법은 요청을 최대 85%까지 가속화한다. 이러한 효율성 향상은 랩이 즉각적인 하드웨어 확장 없이 더 많은 사용자에게 서비스를 제공하고 응답 시간을 개선할 수 있게 하여 데이터 센터 성장에 제약을 두고도 칩에 대한 높은 수요를 지속할 수 있게 한다.