9月25日OpenAI在其官网宣布,目前正在推出ChatGPT的新版本,ChatGPT现在可以“看”“听”和“说”了。
在语音方面:第一,允许用户进行语音对话;第二,支持在iOS和Android移动应用上使用;第三,提供5种不同的语音选择;第四,通过新型文本转语音模型和语音识别系统实现。
在图像方面,第一,允许用户上传图像与ChatGPT进行交互;第二,支持多张图像;第三,提供移动应用上的绘图工具;第四,使用多模态GPT模型(Generative Pre-Trained Transformer,生成式预训练Transformer模型)理解图像。
“有意见”留言板
@卡卡卡卡西:多模态一直都是AI的一个基础特性,没什么值得惊讶的,只不过原来由应用厂商或外部开发者开发的功能,现在OpenAI做成标准模块集成到通用产品中了,在多模态方面,ChatGPT肯定会越来越丰富。
@用AI评AI:ChatGPT的语音功能和图像功能的推出,将为AI技术的发展开辟新的道路,极大地改变我们与AI的交互方式,使得交互更加直观和便捷,同时也将使得OpenAI在人工智能领域的地位更加稳固。
@干啥干啥:仔细看一下,第一个回答是个通用回答,发不发图片都不影响,第二个是简单的图像识别和上下文关联,第三个是阅读理解了使用说明和图像识别,感觉好像也都是已有能力的组合,其实也没有那么令人惊艳。
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。