AI 推理时代的 Ceph:让 GPU 直读 Ceph/RADOS KV
AI 推理为什么开始关心存储路径大模型推理里,大家通常最关心 GPU 算力、显存容量、batch size、prefill、decode、TTFT(time to first token,首 token 延迟)。
英伟达要“甩开”CPU
在这项工作中,我们提出了一个案例,使 GPU 能够在称为 BaM 的新系统架构中协调对 NVMe 固态驱动器 的高吞吐量、细粒度访问。
基于ActiveMQ的消息中间件系统 OneMM逻辑与物理架构设计详解
1.
抛售压力遽增!以太坊ETF单日流出金额创史上第二大纪录
财联社8月20日讯(编辑 马兰)以太坊ETF在周一出现资金大幅流出,规模达1.967亿美元,创下该品类基金自推出以来的第二大单日流出纪录。据SoSoValue的数据,8月4日以太坊ETF流出4.65亿美元,为单日最高纪录。
NVMe系列二:队列(Queue)管理
当Host要下发Admin command时,需要一个放置Admin command的队列,这个队列就叫做Admin Submission Queue, 简称Admin SQ.
打通 JAVA 与内核系列之 一 ReentrantLock 锁的实现原理
写JAVA代码的同学都知道,JAVA里的锁有两大类,一类是synchronized锁,一类是concurrent包里的锁。
超能装!台积电第5代最新封装技术路线图公布
【新智元导读】近日,Hot Chip 33大会在线上举行,台积电在会上介绍了自家封装技术路线图。第5代CoWoS封装技术将于今年晚些时候问世,拥有8个HBM2e堆栈的空间,容量高达128 GB,比第3代技术多存储20倍晶体管,预计2023年发布第6代CoWoS。
业务系统越跑越慢?这篇性能设计指南讲透了
性能设计的本质是权衡:用缓存换一致性,用批处理换延迟,用异步换复杂度,用限流换稳定性。一、算法层:提升单核效率1.
ActiveMQ消息传送模式和消息的签收模式
专题文章字数有限制,本来是一篇的拆成了3篇文章,大家按照顺序查看图文。⑦ 消息追溯上边说过,针对订阅式的消息,如果订阅的消费者不在,上线后需要消费Topic的话,需要在代码中开启永久订阅。如果不创建永久订阅,可以通过开启消息追溯,为非永久订阅开启,消息追溯的功能。
计算机行业CPU研究:全球CPU市场梳理,关注中国厂商崛起
若 CPU 产品的技术进步不及预期,无法满足下游行业性能要求, CPU 市场在电子产业链中的价值占比提升可能不及预期。