기업들은 측정할 수 없는 AI에 수십억 달러 지출 — GPU의 83%가 절반 이상 유휴 상태
venturebeat이 107개 기업을 조사한 결과 83%가 GPU 사용률이 50% 미만이라고 답했고, 컴퓨트 비용을 효과적으로 추적하는 기업은 44%에 불과해, 공격적인 AI 인프라 투자와 경제적 관리 사이의 위험한 단절이 드러났다.
벤처비트 리서치에 따르면 107개 기업을 대상으로 조사한 결과, 기업들이 공격적으로 AI 인프라를 구매하고 있음에도 불구하고 경제성에 대한 가시성이 부족한 컴퓨팅 격차가 나타났다. 주요 데이터에 따르면 조직의 83%가 GPU를 50% 이하의 사용률로 운영하고 있으며, 생산에 AI를 적용한 기업은 21%에 불과하고, 컴퓨팅 비용을 엄격하게 추적하는 기업은 절반 미만(44%)이다. 지출은 AI 특화 클라우드(45%가 평가 예정)로 이동하고 있으며, 공급업체 변경(64%는 1년 이내, 38%는 분기 이내)을 진행하고 있으며, 통합(41%)과 총 소유 비용(35%)에 의해 토큰 가격(8%)보다 더 많이 영향을 받는다. 이는 엔터프라이즈가 추론 확장 제약과 같은 메모리 대역폭에 대비하고 있는 반면, 현재는 효율적으로 측정하거나 관리할 수 없는 하드웨어를 과잉 프로비저닝할 위험이 있어 추가 자본 지출 전에 더 나은 단위 경제학을 향한 필요한 수정을 시사한다.