过去的几年里,PyTorch从1.0到1.13进行了创新和迭代,12月2日,PyTorch 2.0正式发布。与前辈们相比,PyTorch 2.0提供了相同的eager mode和用户体验,同时通过torch.compile增加了一个编译模式,可以在不更改模型代码的情况下对模型进行加速,从而提供更佳的性能和对Dynamic Shapes及分布式运行的支持。经测试,使用2.0可以将训练速度提高38-76%。
由于torch.compile是一个可选特性,因此PyTorch 2.0是完全向后兼容的。此外,2.0系列还会将PyTorch的部分代码从C++移回Python。PyTorch团队表示,PyTorch 2.0是他们向2.x系列迈出的第一步,稳定版预计在2023年3月初发布。
我们的科技留言板“有意见”如下
@码头诗人:AI模型编译速度的提升意味着在实际应用项目又可以节省不少计算资源,能够进一步推动AI降本,推动人工智能在产业中加速普。实际上,国内科技公司也都在开源领域、在机器学习方面投入大量资源搞研发,这也是当下一个颇具潜力的技术高地。
@东北路飞刘海柱:PyTorch2.0把2000个算子用250个基础算子实现,如果想要提升性能,可以针对Aten的750+算子进行融合优化,更加生态环保,也能让厂商对接更加方便。
@算子:PyTorch 2.0最大的更新就是这个torch.compile。好奇编译加速能否良好的支持fsdp的加入?毕竟torch的fsdp不算是一个成熟的算子,而且支持这个事的工作量应该是巨大的。
好文章,需要你的鼓励
文章介绍了阿里·帕尔托维通过 Neo 计划,以编程测试发现并培养未来科技领军人才,投资于多家初创企业推动技术创新与资本增值。
本文警示:AI仅复制人类表象,非真正创新;不断抹平人性瑕疵,削弱创新活力,迫切需要激发挑战与思辨的系统设计。
本文讨论了AI如何革新航空航天业,从优化航班运营、提升驾驶舱智能化,到加速飞机设计、精益制造和预测性维护,既提高安全性又降低成本,同时强调需平衡技术、监管与伦理挑战。
Google Cloud旗下Mandiant最新M-Trends报告显示,金融驱动的网络攻击(如勒索软件)依旧为全球主流威胁,其手段正日益复杂和智能化。