OpenAIが推論コストを半減——なのにGPUは安くならないのか
OpenAIがゲストのChatGPTユーザーの推論コストを50%以上削減し、必要なGPUを数百台規模に縮小。この効率化はマージン向上やスケール拡大にはつながるが、チップ需要の緩和にはつながらない可能性がある。
OpenAIのエンジニアは、同僚に対し、ログインユーザー以外のChatGPTユーザーの推論コストを半分以上削減したことを伝え、GPU要件を数百に大幅に下げた。この措置は、製品の最も制限された層を対象としており、フルプラットフォームへのスケーリングについては疑問が残る。推論最適化への焦点は、DeepSeekの新しいオープンソース手法のような業界のトレンドを反映しており、リクエストを最大85パーセント高速化する。これらの効率性の向上により、ラボはより多くのユーザーにサービスを提供し、応答時間を改善することができ、データセンターの成長が制限されているにもかかわらず、チップの高い需要を維持できる。