中训练、后训练持续升温,模型快速迭代,成为 AI for AI 最佳试炼场
当模型开始参与研发下一代模型,大模型的研发方式正在发生什么样的变化?作者丨高允毅编辑丨岑 峰大多数科研构想,从未被充分验证。这并不是研究者缺少灵感。恰恰相反,新的架构猜想、训练策略无时无刻不在涌现。
AI如何避免“学新忘旧”?谷歌答案藏在睡眠里
IT之家 10 月 30 日消息,谷歌研究团队于 10 月 27 日发布博文,介绍一项名为“睡眠框架”(Sleep Framework)的持续学习研究成果,试图解决大语言模型发布后知识固化、难以吸收新信息的难题。
AI不光得会说,还不能乱插嘴,Omni AI变革实时交互
当你让AI分析屏幕上的图表,又突然补充「等一下,看右边那条曲线」,系统需要停止旧回答、更新目标,并检查后台计算是否仍然有效。
数亿美元做数学,奥特曼:OpenAI还有发现没公开
10月29日发布的《Cheeky Pint》访谈里,奥特曼透露:OpenAI在数学研究上的投入,还涵盖了许多尚未公开的发现。
4个月RSI从0训练,田渊栋创业首个模型来了:MacBook Pro可跑,已开源
搭配优化后的推理引擎,Flint在MacBook Pro上能跑至少125 tokens/s,RTX Spark上则超过150 tokens/s。
时间序列基础模型:学到的是模式,还是规律?
传统的时间序列预测通常要为特定序列建立模型,基础模型则提供了另一种方法:先从大量时间序列中学习,再把学到的知识用于尚未见过的新序列。这种预训练使用成千上万甚至数百万条时间序列,模型不只围绕某一个数据集训练而是有机会从不同数据中提取能够迁移的规律。
走路一万步,还是不够?被误传了几十年的「多运动」,该改一改了
#冬日生活打卡季#三个人、两条带子,公园里就能把这一格补上我们花了几十年学会多动一点,现在要学的,是怎么少练一点还有效。晚上九点半,鞋脱在门口,手机显示今天走了一万两千步。体检报告摊在茶几上,两个箭头还是往上飘。这种时候人最容易生出一股闷气:我明明一直在动啊。
不反向传播也能预训练Transformer,Jeff Dean投的这家公司出成果
论文里的实验最大也只到 243M 参数、20M token 的训练预算,和工业界动辄千亿 token 的预训练相去甚远。