Kog 在标准 GPU 上实现 3,000 TPS —— 能扩展到大模型吗?
kog 的软件优化在标准数据中心 gpu 上达到每秒 3,000 token 的速度，为面临缓慢推理的开发者提供了 30 倍的加速。
Kog 发布了一项技术预览，展示了在未修改的 NVIDIA H200 和 AMD MI300X GPU 上达到 3,000 tokens per second（tps）的推理速度，使用其 Laneformer 2B 模型和自定义内核优化。最初的演示集中在一个小型 20 亿参数模型上，以证明标准硬件的潜力，但该公司通过承诺为昂贵的 Claude 代码工作流程提供显著的速度改进，获得了 200 个商业线索。该初创公司现在将重点转向更大的模型，在了解到客户不会对较小的模型进行微调后，但面临着对其低级汇编方法是否可以在不消耗每个 GPU 世代过多工程时间的情况下扩展的怀疑。