“榨”出硅的极限：怎么让GPU不“闲着”？
7月20日，The Information报道称，谷歌正在研发一款内部代号“Frozen v2”的服务器芯片，计划把Gemini模型的部分架构直接固化进硅片。
为什么你越努力越焦虑？因为 AI 正在按“新逻辑”定价每一个人
本文深入探讨了2025年后AI人才红利的归属，揭示了真正的稀缺技能，并为普通人、程序员和职场人提供了转型建议。过去两年，很多人对 AI 的理解停在两个关键词:「大模型」+「Prompt 工程」。
清华系团队给大模型织了一张“智能算力电网”
允中 发自 凹非寺量子位 | 公众号 QbitAIAI芯片，正在机房里猛猛吃灰。海外高端GPU供不应求、又贵又难买；国产芯片产能好不容易上来了，结果是「能用但不好用」，生态不全、适配难、推理优化门槛高，大量国产卡就这么空转着，电费照烧，却产不出一颗能用的Token。
Ollama和vLLM有什么区别？大模型部署必学的两个工具
随着大模型技术的发展，越来越多的开发者开始尝试在自己的电脑或服务器上部署开源大模型。例如：在本地运行 Qwen、Llama、DeepSeek 等模型。搭建企业内部知识库。开发 AI Agent 智能体。为业务系统提供统一的大模型 API 接口。建设企业私有化大模型平台。
大模型推理是靠啥跑起来的？为啥要把推理拆成Prefill和Decode？
过去两年，大模型几乎把整个AI应用栈都重新改写了一遍。大家平时聊的，不是模型参数有多大、训练用了多少数据，就是Agent、多模态这些热门概念，但真到落地的时候才发现，最后决定系统用着顺不顺的，往往不是模型本身多厉害，而是一个更实际的问题：这模型到底是怎么跑起来的？
提速10.7倍！这个端侧推理引擎一开源，机器人本体跑大模型不卡了
第一个问题，APXInf 交出的答案是一组数字:无需改变 π0.5 模型本身，通过端到端的全栈优化，在 Thor 芯片 FP8 配置下把推理延迟从 278ms 降至 26ms，端到端提速约 10.7 倍，38.46Hz 的频率让机器人控制进入实时区间。
大模型推理到底在做什么？从输入Prompt到输出答案
我们平时使用 ChatGPT、DeepSeek、通义千问等大模型时，只需要输入一段文字，很快就能得到一段完整回答。但从技术角度看，这个过程并不简单。用户输入：请帮我分析一下服务器 CPU 使用率持续升高的原因，并给出排查建议。模型并不是直接理解这段文字，然后一次性生成答案。
Mac本地跑多模型
刚看到一个对 Mac 用户很友好的项目：oMLX。一句话理解：它能让你在本地 Mac 上同时跑多个 LLM，而且把内存管理和缓存这件事做了优化。这类工具真正难的，从来不只是“把模型跑起来”，而是本地一旦开始多模型并行，内存、KV cache、吞吐，很快就会乱。