李开复旗下 AI 公司零一万物也宣布开源了其 Yi-9B 模型,官方称它是当前 Yi 系列模型中的“理科状元”——代码和数学能力表现最佳;不偏科,中文能力也很强。其全部参数量为 8.8B,有效参数8.31B,默认上下文长度为 4K tokens。Yi-9B(BF 16)在消费级显卡上轻松部署,使用成本较低,开发者友好。
除此之外,早先,包括阿里云对外开源了通义千问7B大模型,Meta开源了大模型Llama 2,谷歌开源大模型Gemma 7B,巨头已经纷纷开源,来加速端侧AI 落地。
“有意见”留言板
@本土化:中国的大模型公司应该更加注重模型的中文表现能力,毕竟主要服务中文人。中文语义的理解远比英文以及字母文字语言更加难理解。但 Yi 的模型评测里并没给出中文的测试评分,此外,从数据上看9B 好像没比别人的7B好多少。到底是不是套壳,开源后大家就好审查代码了。
@Betty:并不是开发,而是完全100% Meta的llama
好文章,需要你的鼓励
这项来自明尼苏达大学等机构的研究发现,大语言模型在强化学习后训练中,只需训练中间少数几层即可匹配甚至超越全参数训练效果,且这一规律跨模型、跨任务高度稳定,为更高效的AI训练策略提供了新思路。
本文介绍VIBE框架,一套通过开放式任务评估大型音频语言模型声音诱发偏见的系统,测试12个模型后发现每个模型均存在显著性别或口音偏见。