英伟达 Groq 3 LPX 声称比 Cerebras 快 4 倍——但这需要 64 颗芯片才能做到

英伟达（nvidia）已经启动了Groq 3 LPX的全面生产，这是一款建立在Vera Rubin平台上的交互式推理加速器，旨在优化AI代理的 token 生成。人工分析基准测试显示，该系统在Gemma 4 31B上达到了每秒3,400个token，但是这一数字需要在至少64个LPUX芯片（每个芯片配备500MB内存）组成的机架上分割模型才能实现。与Cerebras的比较存在争议，因为Cerebras使用一两个芯片就能达到882 T/s，但其硬件规模和新款CS-4世代的排除引发了争议。尽管数学模型存在争议，Nebius仍计划通过其Token Factory云服务提供该芯片，以满足高级代理的延迟需求。