AI如何避免“学新忘旧”?谷歌答案藏在睡眠里
IT之家 10 月 30 日消息,谷歌研究团队于 10 月 27 日发布博文,介绍一项名为“睡眠框架”(Sleep Framework)的持续学习研究成果,试图解决大语言模型发布后知识固化、难以吸收新信息的难题。
下一代模型天花板的核心方向:持续学习(Continual Learning)
4月22日,a16z发布了一篇重磅长文,文章整合了全球顶尖研究者、博士团队与创业公司的一线思考。【核心观点】 在短短的时间里,持续学习从一个小众学术概念,被拉到了AI基础设施变革的中心位置。今天我们就来给大家拆解一下这篇万字长文。
AI持续学习火了:下一代智能体拼的不是“会回答”,而是“会积累”
这里要先把概念讲清楚:AI持续学习,不等于模型在你聊天时偷偷自我训练。学术语境里的 continual learning、lifelong learning,讨论的是 AI 系统如何在动态环境中持续适应新任务、新数据和新用户偏好,同时尽量不忘掉旧能力;
Harness Continual Learning:从模型参数走向Agent Harness
当 Agent 的能力越来越多地分布在 Prompt、Memory、Skill、Tool、Workflow 和 Router 中,持续学习的研究对象也不应再局限于模型参数,而需要进一步扩展到支撑 Agent 长期运行的整个系统。
自动化所在类人连续学习及情境依赖学习方面取得进展
中国科学院自动化研究所脑网络组研究中心与模式识别国家重点实验室团队提出正交权重修改算法,与情境信息处理模块相结合,使人工神经网络具备了强大的连续学习和情境依赖学习能力,有效解决灾难性遗忘等难题。
类人连续学习及情境依赖学习方面取得进展
中国科学院自动化研究所脑网络组研究中心与模式识别国家重点实验室团队提出正交权重修改算法,与情境信息处理模块相结合,使人工神经网络具备了强大的连续学习和情境依赖学习能力,有效解决灾难性遗忘等难题。
伯克利神作背刺OpenAI:持续学习才是真神
标题:Learning, Fast and Slow: Towards LLMs That Adapt Continually预印本:见原文链接项目主页:见原文链接。
机器人抄果蝇“作业”?清华团队用果蝇大脑“接线图”,让具身智能学会了自适应
有人把果蝇大脑的“接线图”接入《我的世界》控制游戏里的人物,还有人让虚拟果蝇用前足转动模拟汽车的方向盘。
Harness Continual Learning:持续学习,从模型参数走向Agent Harness
来源:市场资讯(来源:机器之心)长期以来,持续学习主要研究模型参数如何沿任务序列更新,以及系统如何在学习新任务时避免灾难性遗忘。经验回放、正则化、优化约束和架构扩展等方法虽然路径不同,但共享同一个基本前提:持续学习主要发生在模型内部。
强化学习之父:“我没疯,是整个AI圈疯了”
但在强化学习奠基人 Richard Sutton 看来,今天的AI行业可能忽略了一个更基础的问题:我们制造出了越来越强大的“机器学习”系统,却让这些机器在真正进入世界之后停止了学习。