过去的几年里,PyTorch从1.0到1.13进行了创新和迭代,12月2日,PyTorch 2.0正式发布。与前辈们相比,PyTorch 2.0提供了相同的eager mode和用户体验,同时通过torch.compile增加了一个编译模式,可以在不更改模型代码的情况下对模型进行加速,从而提供更佳的性能和对Dynamic Shapes及分布式运行的支持。经测试,使用2.0可以将训练速度提高38-76%。
由于torch.compile是一个可选特性,因此PyTorch 2.0是完全向后兼容的。此外,2.0系列还会将PyTorch的部分代码从C++移回Python。PyTorch团队表示,PyTorch 2.0是他们向2.x系列迈出的第一步,稳定版预计在2023年3月初发布。
我们的科技留言板“有意见”如下
@码头诗人:AI模型编译速度的提升意味着在实际应用项目又可以节省不少计算资源,能够进一步推动AI降本,推动人工智能在产业中加速普。实际上,国内科技公司也都在开源领域、在机器学习方面投入大量资源搞研发,这也是当下一个颇具潜力的技术高地。
@东北路飞刘海柱:PyTorch2.0把2000个算子用250个基础算子实现,如果想要提升性能,可以针对Aten的750+算子进行融合优化,更加生态环保,也能让厂商对接更加方便。
@算子:PyTorch 2.0最大的更新就是这个torch.compile。好奇编译加速能否良好的支持fsdp的加入?毕竟torch的fsdp不算是一个成熟的算子,而且支持这个事的工作量应该是巨大的。
好文章,需要你的鼓励
Docker公司发布重大新功能,旨在简化智能体AI应用的构建、运行和部署。公司扩展了Docker Compose工具以支持AI智能体和模型的大规模部署,并推出Docker Offload服务,允许开发者将AI工作负载转移到云端。新功能还支持模型上下文协议网关的安全连接,并与谷歌云、微软Azure等合作伙伴集成。
这项研究首次将在线强化学习成功应用于流匹配模型,通过巧妙的ODE到SDE转换和去噪减少策略,显著提升了AI图像生成的精确度和可控性。在复合场景生成、文字渲染等任务上取得突破性进展,为AI生成领域开辟了新的技术路径。
欧盟发布AI法案实施细则,要求谷歌、Meta、OpenAI等公司承诺不使用盗版材料训练AI,详细披露训练数据来源和模型设计理念。新规还要求公司尊重付费墙和网站爬虫限制,公开训练和推理的总能耗,并在5-10天内向欧盟AI办公室报告安全事件。违规企业可能面临年销售额7%或3%的罚款。
这篇由阿里巴巴集团联合多所知名高校发表的综述论文,系统梳理了统一多模态理解与生成模型的最新发展。研究将现有模型分为扩散、自回归和混合三大类型,详细分析了不同图像编码策略的特点,整理了相关数据集和评估基准,并深入探讨了当前面临的技术挑战。