单身久了,看聊天机器人也眉清目秀起来。
近日,Alphabet旗下AI公司DeepMind推出了人工智能聊天机器人Sparrow。DeepMind使用了大型语言模型Chinchilla训练开发,将强化学习与用户反馈结合起来,让一组用户向Sparrow提问,然后针对Sparrow生成的多个答案,选择他们认为最准确的。研究人员利用用户对Sparrow回答的反馈进行改进,极大提高了Sparrow的准确性。
为了防止Sparrow说出带有偏见的答案,研究人员为它制定了23条规则。在让用户诱导Sparrow打破规则的测试中,成功的频率只有8%,明显低于其他方法训练的AI模型。
我们的科技留言板“有意见”如下
@媒体搬运工:基于大模型的NLP看来真是行业热点,刚刚举行的GTC上,NVIDIA也推出了NeMo大型语言模型服务。时至今日,大模型已经成为整个AI产学界追逐的技术宠儿,各式各样参数不一、任务导向不同的大模型层出不穷。大模型具备效果好、泛化能力强等特点,进一步增强了AI的通用性,成为AI技术和应用的新基座。
@锐角:近年来各种LLM(大型语言模型)已经在问答对话上颇有成效。对话是一种灵活的交流方式,但基于LLM的聊天机器人还是会出现不准确、歧视性、涉及不安全行为的对话,因此为了让聊天机器人更安全,必须借由人类的回应来学习,采用人类参与的强化学习方式。无疑,Sparrow就是最新的产物。
@有想法的向日葵:不同的语言文化也增加了AI聊天机器人的难度。对于应答内容,既要满足聊天的能力,不是固定问题总是只有一个枯燥的答案,又要保证其建议的安全性。虽然8%的概率打破规则已经很不容易,但还需要继续完善。
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。