过去的几年里,PyTorch从1.0到1.13进行了创新和迭代,12月2日,PyTorch 2.0正式发布。与前辈们相比,PyTorch 2.0提供了相同的eager mode和用户体验,同时通过torch.compile增加了一个编译模式,可以在不更改模型代码的情况下对模型进行加速,从而提供更佳的性能和对Dynamic Shapes及分布式运行的支持。经测试,使用2.0可以将训练速度提高38-76%。
由于torch.compile是一个可选特性,因此PyTorch 2.0是完全向后兼容的。此外,2.0系列还会将PyTorch的部分代码从C++移回Python。PyTorch团队表示,PyTorch 2.0是他们向2.x系列迈出的第一步,稳定版预计在2023年3月初发布。
我们的科技留言板“有意见”如下
@码头诗人:AI模型编译速度的提升意味着在实际应用项目又可以节省不少计算资源,能够进一步推动AI降本,推动人工智能在产业中加速普。实际上,国内科技公司也都在开源领域、在机器学习方面投入大量资源搞研发,这也是当下一个颇具潜力的技术高地。
@东北路飞刘海柱:PyTorch2.0把2000个算子用250个基础算子实现,如果想要提升性能,可以针对Aten的750+算子进行融合优化,更加生态环保,也能让厂商对接更加方便。
@算子:PyTorch 2.0最大的更新就是这个torch.compile。好奇编译加速能否良好的支持fsdp的加入?毕竟torch的fsdp不算是一个成熟的算子,而且支持这个事的工作量应该是巨大的。
好文章,需要你的鼓励
Cadence 与 Nvidia 合作推出新一代 AI 加速超级计算机 Millennium M2000,显著提升仿真效能,加速芯片设计、药物研发等领域创新。
诺丁汉大学研发的ORBIT数字疗法获NHS初步支持,用于改善Tourette综合征等抽动症状。该在线自助认知行为疗法经历临床试验证明效果显著,未来三年将在NHS推广。
Classiq是一家开发量子算法平台的初创企业,通过1.1亿美元C轮融资,加速研发简化量子编程、跨平台兼容的操作系统,助推量子应用落地。