据说,名为 Groq 的初创公司带着史上最快的大模型和自研芯片LPU来了。经过网友测试,Groq每秒生成速度接近500 tok/s,碾压GPT-4的40 tok/s。
根据Groq官网的介绍,LPU是一种专为AI推理所设计的芯片。但要训练大模型,仍然需要购买GPU。如果把训练必做养兵千日,那么推理就是用兵一时,两者缺一不可。Groq LPU的快速输出,还是离不开背后GPU的数据训练。 因此结合训练和推理的总成本来看。如人工智能专家贾扬清分析称,Groq综合成本相当于英伟达GPU的30多倍。
“有意见”留言板
@卡卡卡卡西:面对大模型,船大不好掉头的反而是芯片厂商,大家都知道大模型更需要的是访存密集型芯片,但现在的芯片厂商都是基于自己干了那么多年的芯片架构进行优化,没勇气从头再来,所以OpenAI奥特曼才想自研芯片,这也才有了Groq的震撼登场。
@贰言:Groq的自研LPU比英伟达的GPU性能更强,这对英伟达等传统AI芯片制造商来说是个巨大的挑战。在AI技术日益普及的当下,传统制造商必须考虑如何更高效地整合AI技术,以增强自身产品和服务的竞争力
好文章,需要你的鼓励
欧盟的关税政策无疑给中国车企的欧洲扩张之路蒙上了一层阴影。高昂的关税意味着我国电动汽车在欧洲的售价将大幅提升,失去价格优势,难以与欧洲本土品牌竞争。面对这一困境,我国车企并没有选择退缩,而是积极寻求解决方案,力图化解关税带来的冲击。
勒索软件占本季度参与量的30%,比上一季度增长22%,首次观察到新的勒索软件团伙Mallox和 Underground Team。该公司还处理了正在进行的Black Basta和BlackSuit勒索软件攻击,这些是本季度最多的攻击。