Kog、標準GPUで3,000 TPSを達成――大型モデルにスケールできるか?
Kogのソフトウェア最適化により、標準的なデータセンターGPU上で毎秒3,000トークンを達成。推論の遅さに悩む開発者に30倍の速度向上を提供する。
Kogは、改訂されていないNVIDIA H200およびAMD MI300X GPUで、Laneformer 2Bモデルとカスタムカーネルの最適化を使用し、3,000トークン/秒（TPS）の推論速度を示すテクノロジープレビューをリリースした。初期のデモでは、標準ハードウェアの可能性を証明するために小型の2億パラメータモデルに焦点が当てられたが、同社は、高価なClaudeコードワークフローの大幅な速度改善を約束して200件のビジネスリードを獲得した。スタートアップは現在、より大きなモデルへのシフトに焦点を当てているが、顧客はより小さいモデルを微調整しないことを学習しているが、GPU世代あたりのエンジニアリング時間の過剰な消費なしに低レベルアセンブリ手法をスケールできるかどうかに懐疑的である。