统治AI十年的Transformer,要被亲爹亲手砸碎?
这是AI架构十年来最硬的一次正面交锋。统治AI黄金十年的架构,地基是不是已经松了?所谓「后Transformer」,到底是更强的记忆机制、更高效的序列建模,还是从训练到系统都得换一套?
rollout预算最该花在哪?不是Transformer,而是风险预测的向前一步
论文标题:Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling。
训练大模型时,那个让所有人又爱又恨的优化器,终于"减肥"成功了
如果你关注过最近一两年大语言模型的训练技术,可能听说过一个叫 Muon 的优化器。它很火,Kimi K2、GLM-5 这些前沿模型都在用它。它比传统的 AdamW 优化器更聪明,同样的训练步数能让模型损失下降得更快。但它有一个问题,一个大到让很多团队望而却步的问题:它太贵了。
商汤科技闫俊杰:用软硬件协同妙招,让深度学习模型部署更灵活高效
在这场全天座无虚席、全网直播观看人数逾150万次的高规格AI芯片产业峰会上,来自产业链上下游的16位大佬共聚一堂,围绕嵌入式AI的软硬件生态创新、家居AIoT、移动机器人和工业制造产业4大版块地图,带来了深入浅出的分享。
你本可以发明Transformer?9年前论文就有线索?斯坦福博士这篇博客火了
来源:市场资讯(来源:机器之心)机器之心编辑部如果 2017 年那篇《Attention Is All You Need》从未发表,给你一个问题:「如何让机器记住尽可能多的东西,并且想取哪条就取哪条」,你能从零开始,把 Transformer 一层一层地推导出来吗?
Transformer神经网络架构的前世今生,万字长文揭秘其神秘面纱
Transformer 模型于 2017 年问世,在开创性论文《Attention is All You Need》(Vaswani 等,2017)中首次亮相。它彻底革新了深度学习乃至整个计算机科学领域。
人形机器人小脑的GPT时刻来了,还有史上最大动捕数据,整整20亿帧
当人形机器人仍停留在「见过才会、练过才行」的样本拟合阶段,难以应对新动作、新指令与分布外任务时,银河通用最新发布全球首个小脑 GPT 基模 AstraBrain‑WBC 0.5,全球首个成功验证运动控制 Scaling Law。
给Transformer变个形,LLM竟能变得更聪明
论文由 Mila的 Reza Bayat、康奈尔大学的 Ali Behrouz,以及 Mila 联合创始人、蒙特利尔大学教授 Aaron Courville 共同完成。
从Transformer到MoE:大模型架构的范式转移
从Transformer到MoE再到Mamba,这场由成本与效率驱动的变革正在重塑AI行业的底层逻辑。h' = Ah + Bx,y = Ch + Dx。