TokenSpeed 极速大模型推理引擎!专为智能体场景打造
大模型智能体任务需要大量多轮长上下文调用,传统推理引擎在这类场景下容易出现调度卡顿、KV 缓存资源浪费等问题。TokenSpeed 应运而生,从零设计架构,主打智能体工作负载的高速推理,填补现有推理服务在复杂多步骤任务上的性能短板,给开发者提供高性能且易用的开源部署方案。
RSI两大里程碑发布!单人手搓千亿模型,英伟达大佬教「保命」法则
来源:市场资讯(来源:新智元)新智元报道我们刚刚见证了历史!最近,「递归自我改进」领域有两项重磅发布!在过去十年里,预训练一个基座大模型,是科技巨头的「战备竞赛」。在开源社区,这需要几十名顶尖专家。
以为买亏了?3090一招解除限制,算力暴涨68%,老内存也能跑模型
作者:伯衡君3090/3080显卡解锁隐藏算力,DDR3内存也真香概述上周末,我在闲鱼上刷到一张图:一块 RTX 3090,解锁后 BF16 算力直接拉满,比官方标称高出了将近 68%。消息是社区里有人分享的,链接指向一个叫 gpu-unlock 的 GitHub 项目。
你的4090只有半速,钥匙被人挂在了GitHub上
如果你看过末世题材的影视剧,多半见过这个经典桥段:基地能源表只显示一半容量,设备勉强维持运转,直到主角拆开外壳才发现,剩下一半能源模块明明完好,只是被人为锁住,无法调用。这个只存在于剧本里的设定,如今在我们日常使用的显卡上变成了现实。
Token卷到触觉了!机器人终于有了通用手感
最近有个团队做了个实验,他们在Sharpa Wave灵巧手的五个手指上都装上了触觉传感器,任务是让它把一个袋子的拉链拉上。
转 AI 的门槛变了:面试前,公司先看你的 Token 截图
面试还没开始,公司先要你的 Token 消耗截图和 GitHub 链接。本文拆解这一现象背后的逻辑,并探讨当面试从看截图变成当场用 AI 做任务时,真正的能力标准是什么。
RSI两大里程碑发布,单人手搓千亿模型,英伟达大佬教「保命」法则
他们宣布了一项把「人效杠杆」推向极致的疯狂实验:仅用 1 名研究员就从零手搓出了一个参数量在 1000 亿到 5000 亿之间的编程基座模型——Mirendil-Base!
幽默,一个 GitHub 项目叫“马尾辫”,还能帮你省 token
本内容来源于@什么值得买APP,观点仅代表作者本人 |作者:cxuanAI点击上方蓝字关注我,加个标不迷路。大家好,我是 cxuan,一个和 AI Agent 互相折磨的 builder。这两天我注意到一个 Github,刚看到的时候,还是有些幽默的。