过去的几年里,PyTorch从1.0到1.13进行了创新和迭代,12月2日,PyTorch 2.0正式发布。与前辈们相比,PyTorch 2.0提供了相同的eager mode和用户体验,同时通过torch.compile增加了一个编译模式,可以在不更改模型代码的情况下对模型进行加速,从而提供更佳的性能和对Dynamic Shapes及分布式运行的支持。经测试,使用2.0可以将训练速度提高38-76%。
由于torch.compile是一个可选特性,因此PyTorch 2.0是完全向后兼容的。此外,2.0系列还会将PyTorch的部分代码从C++移回Python。PyTorch团队表示,PyTorch 2.0是他们向2.x系列迈出的第一步,稳定版预计在2023年3月初发布。
我们的科技留言板“有意见”如下
@码头诗人:AI模型编译速度的提升意味着在实际应用项目又可以节省不少计算资源,能够进一步推动AI降本,推动人工智能在产业中加速普。实际上,国内科技公司也都在开源领域、在机器学习方面投入大量资源搞研发,这也是当下一个颇具潜力的技术高地。
@东北路飞刘海柱:PyTorch2.0把2000个算子用250个基础算子实现,如果想要提升性能,可以针对Aten的750+算子进行融合优化,更加生态环保,也能让厂商对接更加方便。
@算子:PyTorch 2.0最大的更新就是这个torch.compile。好奇编译加速能否良好的支持fsdp的加入?毕竟torch的fsdp不算是一个成熟的算子,而且支持这个事的工作量应该是巨大的。
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。