谷歌发布了开放模型Gemma。Gemma在拉丁语中意为“宝石”。 目前发布了分布具备20亿、70亿两种参数规模的模型:Gemma 2B 和 Gemma 7B。该模型主打轻量级、高性能,可以直接在开发者的笔记本电脑或台式机上运行。
据了解,Gemma 模型与谷歌规模最大、能力最强的 AI 模型 Gemini 共享技术和基础架构。在关键基准测试集上展现出同等规模最先进的性能。
“有意见”留言板
@反向超越:从大力出奇迹到低资源AI,谷歌Gemma又出了一记漂亮的重拳。不论在性能、能力甚至在资源使用量上都成为优秀的模型系列。然而Gemma只是开放不是开源,意味着国内套壳的可能性基本没了。科技差距仍需大家努力追赶。
@Betty:国内各种 AI 模型又要升级了吗
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。