英伟达发布了目前最强的AI芯片H200,性能较H100提升了60%到90%,还能和H100兼容。H200采用HBM3e GPU,拥有高达141GB显存,4.8TB/s带宽。而且通过英伟达NVLink和NVSwitch高速互连技术,8路HGX H200可提供超过32 Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。在处理Llama 2等大语言模型时,H200的推理速度比H100提高了接近1倍。
“有意见”留言板
@不倒翁:最强的AI芯片需求更多的电力,马斯克说最担心的是美国明后年的电力会严重不足。那么老黄这些芯片如果在美国跑不起来,那么最终会流通到哪里?值得中间商去提前准备。
@贰言:人工智能技术的突飞猛进正推动着对硬件性能更高的追求。英伟达所推出的H200芯片不仅标志着AI硬件领域的一大飞跃,更进一步巩固了其在全球AI芯片设计与制造的领先地位。尽管国内AI芯片产业与世界顶尖的芯片制造商相比差距还很大,但是其发展空间还是很大的,期待国产芯片技术的崛起。
@周一见:H200对AI和HPC应用的影响是显著的,但成本和可用性是关键因素。此外,英伟达对未来芯片的展望显示了其长远规划,这些发展对整个技术和计算生态系统都有可能产生重要影响。
好文章,需要你的鼓励
尽管芯片厂商不断推出性能更强的神经处理单元,声称比上代产品快30-40%,但大多数AI功能仍依赖云端处理。专家指出,云端AI模型拥有数千亿参数,而手机NPU只能处理约30亿参数的模型。本地AI处理虽然在隐私保护和可靠性方面具有优势,但受限于内存容量和处理能力,目前主要应用于特定场景。业界正致力于优化模型压缩技术,实现云端与本地AI的混合处理模式。
NVIDIA联合多所高校开发的SpaceTools系统通过双重交互强化学习方法,让AI学会协调使用多种视觉工具进行复杂空间推理。该系统在空间理解基准测试中达到最先进性能,并在真实机器人操作中实现86%成功率,代表了AI从单一功能向工具协调专家的重要转变,为未来更智能实用的AI助手奠定基础。
Hammerspace通过现有NVMe存储最大化GPU使用率。随着AI计算在混合云和多云环境中扩展,基础设施团队面临着加速洞察时间同时最大化GPU投资的压力。Hammerspace Tier 0将GPU服务器集群内的本地NVMe存储转换为超高速共享存储层,性能比传统网络存储提升10倍,减少检查点时间,提高GPU使用率,改善推理响应时间,无需额外存储系统,节省数百万美元成本。
这项研究解决了现代智能机器人面临的"行动不稳定"问题,开发出名为TACO的决策优化系统。该系统让机器人在执行任务前生成多个候选方案,然后通过伪计数估计器选择最可靠的行动,就像为机器人配备智能顾问。实验显示,真实环境中机器人成功率平均提升16%,且系统可即插即用无需重新训练,为机器人智能化发展提供了新思路。