有意见 | 养兵和用兵缺一不可，看清训练和推理，才知道Groq LPU为啥快 原创

据说，名为 Groq 的初创公司带着史上最快的大模型和自研芯片LPU来了。经过网友测试，Groq每秒生成速度接近500 tok/s，碾压GPT-4的40 tok/s。

根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。但要训练大模型，仍然需要购买GPU。如果把训练必做养兵千日，那么推理就是用兵一时,两者缺一不可。Groq LPU的快速输出，还是离不开背后GPU的数据训练。 因此结合训练和推理的总成本来看。如人工智能专家贾扬清分析称，Groq综合成本相当于英伟达GPU的30多倍。

“有意见”留言板

@卡卡卡卡西：面对大模型，船大不好掉头的反而是芯片厂商，大家都知道大模型更需要的是访存密集型芯片，但现在的芯片厂商都是基于自己干了那么多年的芯片架构进行优化，没勇气从头再来，所以OpenAI奥特曼才想自研芯片，这也才有了Groq的震撼登场。

@贰言：Groq的自研LPU比英伟达的GPU性能更强，这对英伟达等传统AI芯片制造商来说是个巨大的挑战。在AI技术日益普及的当下，传统制造商必须考虑如何更高效地整合AI技术，以增强自身产品和服务的竞争力