700 亿个数字里,没有一个写着“猫“:模型的知识到底存在哪?
摘要:都说大模型有多少亿参数。但那些数字到底在干什么?为什么权重可以是负的?改一个权重,预测就变了?偏置是干嘛的?权重越大就越重要吗?以及最关键的那个问题——模型学到的东西,究竟存在哪里?答案可能会让你对"知识"这个词,产生全新的理解。
内核热补丁,真的安全么?
简介: Linux 内核函数的热替换“撞上”函数调用约定还靠谱吗?Linux 内核热补丁可以修复正在运行的 linux 内核,是一种维持线上稳定性不可缺少的措施,现在比较常见的比如 kpatch 和 livepatch。
延迟退休,保障吃紧,还有必然到来的货币贬值,大家该如何应对?
2023年伊始,有一个很火的视频《我:毕业5年,存款5000 她:中传硕士,火锅店保洁》:视频主人公弯弯和超超快三十岁了,211名校出身的她们“高开低走”——弯弯毕业5年换了12份工作、存款不足5千元,而超超大龄跨专业考研、中传硕士毕业却不断失业、从头学画画、去火锅店干保洁…
为何同性恋在动物和人类中如此普遍,始终没有被进化淘汰?
2020年11月9日,美国北卡罗莱纳大学教堂山分校的研究人员在 Nature 子刊 Nature Ecology & Evolution 上发表题为:Same-sex sexual behaviour and selection for indiscriminate mating 的论文。
我高中辍学,跟 AI 学习,逆袭成为 OpenAI 研究员
作者|金光浩 编辑| 靖宇前段时间,我在上海参加了一个 AI 聚会。活动本身聊的 AI 落地内容很多。但最让我印象最深的,是一位投资人前辈分享的学习方法。他说这个方法救了他,也改变了他投资时看人的标准。具体是什么呢?就是学会「问问题」。
程序员的开源月刊《HelloGitHub》第 67 期
兴趣是最好的老师,HelloGitHub 让你对编程感兴趣!简介分享 GitHub 上有趣、入门级的开源项目。这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等,涵盖多种编程语言 Python、Java、Go、C/C++、Swift...
Trace能看到故障,为什么还不能证明根因
Agent 线上效果下降时,团队通常会打开 Trace:模型看到了什么、调用了哪个工具、在哪一步重试、最终为何失败,似乎都能沿时间线找到。问题是,完整记录只能证明事情发生过。
外国小伙,花了48小时来搞懂 Kimi K3 的建模代码。
The paper’s O framing threw me off. It's not true that “the cost per time-step for transformers scales with the square of the current sequence length”. That's what Flash Attention fixes...