过去几年,昆仑万维从一家游戏公司逐渐转变成为全球化的互联网平台,如今它又向AI领域迈了一大步。4月17日,由昆仑万维与奇点智源联合研发的天工3.5大语言模型正式发布,并于同日启动邀请测试。天工是国内首个对标OpenAI ChatGPT的双千亿级大模型,目前可以支持1万字以上的文本对话。从测试来看,天工在文科方面表现出色,但做鸡兔同笼的数学题时出了错,看来理科方面还有待提高。
“有意见”留言板
@TOFU:越来越卷了,互联网巨头也就罢了,游戏公司居然也跟着来了。不过对于大模型来说,得数据者得天下。表面上看起来好像都差不多,但使用体验确实都不一样,说到底,数据才是差异化竞争的关键。
@老董:又多了一个大模型,没有邀请码只能先看一下热闹。不过多一些竞争总还是好的,技术就是在发现问题解决问题中不断进步的嘛。谁能最了解自身产品的不足,当然是那些虎视眈眈的友商啦。
@淋雨一直走:参考百度文言一心的发布,昆仑默默地低调研发,感觉有惊喜。天工3.5发布后,昆仑万维的市值较年初升值了2.7倍。
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。