Mythos阴影里谷歌悄悄发模型,速度暴涨4倍
就在刚刚,谷歌闷头干了件大事:把生成图片的扩散模型,拿来写文字了,而且一出手就是4倍加速。靠这套新模式,DiffusionGemma在生成速度方面交出了亮眼的成绩:单块H100上每秒1000+ tokens,消费级RTX 5090上700+,比同规格自回归模型快了4倍。
一台游戏 PC 跑 290B+ MoE:拆开 FreeToken 的专家缓存与 CPU/GPU 协同
本地跑大模型的瓶颈常常不在显存,而在每层专家怎么搬。FreeToken 把专家缓存做成可调的显存预算,按机器实测带宽决定未命中的专家走 PCIe 还是交给 CPU 算。从安装、带宽校准到显存分配,290B 级 MoE 在消费级硬件上的成本可以拆成可复现的命令和一笔毫秒账。
单卡5090跑满血DeepSeek-V4-Flash!爆火的FreeToken一周狂揽8.4k
智猩猩AI整理 编辑:BugMaker 大模型开源之后,真正的问题正在从“模型能不能获得”变成“普通用户能不能跑起来”。目前越来越多百亿、千亿参数级开源模型开放权重,但这些模型真正运行时,仍然依赖昂贵的数据中心GPU。 但真正的瓶颈并不只是硬件。
AI的下一站:别再比谁GPU多,要比谁先“懂世界”
#探寻人工智能,从技术到真实世界#AI的未来,不在“堆参数”的军备竞赛里,而在三个点:懂世界、通堵点、啃硬骨头。先说“懂世界”。过去几年,大模型比的几乎是同一件事:谁的参数多、谁的算力猛。
语音开黑平台Discord将引入“游戏模式”,开启后可降低应用CPU/GPU占用
IT之家 10 月 4 日消息,Discord 官方账号在 X 平台透露,目前开发人员正在为 Discord 应用开发全新的“游戏模式(Game Mode)”。
替代VMware的3个理由,看完第2个我坐不住了
背景:VMware的困境与国产化替代的必然选择2023年底,博通完成对VMware的收购后,全球虚拟化市场的格局悄然生变。原本以永久授权为主流的VMware商业模式,被全面转向订阅制,vSphere、vSAN、NSX等核心产品的许可费用大幅上调,部分企业续费成本直接翻番。
单卡5090跑满血DeepSeek V4Flash,已开源,Token自由了!
Codex 生产 trace 的中位 decode 速度是 33 token/s,笔记本 RTX 4060 跑 Qwen3.6-35B 的 39.3 token/s 已经超过了这个数。
Astra写的代码,人类已经看不懂了
实际上,比起风格问题,更该关注的是那个触发条件:如果一个模型真的会因为判断「没人在看」而改变行为,那么风格只是这件事最无害的一种表现形式。
老黄藏八年的秘密!开源项目翻两个bit让显卡算力翻倍,跑分炸裂
作者:伯衡君概述142对71,恰好是严丝合缝的整数倍,分毫未差,明明白白印刻在英伟达旗下RTX 3090的官方规格参数表中。同样的16位输入数据,若将累加结果以16位精度存储,算力标称可达142 TFLOPS;若转以32位精度存储,算力便回落至71 TFLOPS。