英伟达发布了目前最强的AI芯片H200,性能较H100提升了60%到90%,还能和H100兼容。H200采用HBM3e GPU,拥有高达141GB显存,4.8TB/s带宽。而且通过英伟达NVLink和NVSwitch高速互连技术,8路HGX H200可提供超过32 Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。在处理Llama 2等大语言模型时,H200的推理速度比H100提高了接近1倍。
“有意见”留言板
@不倒翁:最强的AI芯片需求更多的电力,马斯克说最担心的是美国明后年的电力会严重不足。那么老黄这些芯片如果在美国跑不起来,那么最终会流通到哪里?值得中间商去提前准备。
@贰言:人工智能技术的突飞猛进正推动着对硬件性能更高的追求。英伟达所推出的H200芯片不仅标志着AI硬件领域的一大飞跃,更进一步巩固了其在全球AI芯片设计与制造的领先地位。尽管国内AI芯片产业与世界顶尖的芯片制造商相比差距还很大,但是其发展空间还是很大的,期待国产芯片技术的崛起。
@周一见:H200对AI和HPC应用的影响是显著的,但成本和可用性是关键因素。此外,英伟达对未来芯片的展望显示了其长远规划,这些发展对整个技术和计算生态系统都有可能产生重要影响。
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
IDEA研究院等机构联合开发了ToG-3智能推理系统,通过多智能体协作和双重进化机制,让AI能像人类专家团队一样动态思考和学习。该系统在复杂推理任务上表现优异,能用较小模型达到卓越性能,为AI技术的普及应用开辟了新路径,在教育、医疗、商业决策等领域具有广阔应用前景。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
上海人工智能实验室提出SPARK框架,创新性地让AI模型在学习推理的同时学会自我评判,通过回收训练数据建立策略与奖励的协同进化机制。实验显示,该方法在数学推理、奖励评判和通用能力上分别提升9.7%、12.1%和1.5%,且训练成本仅为传统方法的一半,展现出强大的泛化能力和自我反思能力。