llama.cpp 的正式版,下载包里只有一个编号
# llama.cpp发了正式版,下载包里没有一个文件11 月 4 日晚,llama.cpp 在 GitHub 上打了一个新标签,v0.9.0。这是它第一次跳出 b 开头的每日构建编号,用上小版本的正式版号。消息在社区里传得不慢。
llama.cpp为什么那么火?如何使用?
很多人听说DeepSeek开源、Qwen开源了,想下载下来免费用一下。但第一次下载本地大模型,会遇到一个很奇怪的问题:下了一个AI大模型文件,双击打不开。因为模型文件本身,只是训练好的参数数据。说白了就是 AI 的“大脑”,它没有界面,也不会自己运行。
装完Ollama再拆llama.cpp,才懂谁才是本地推理的真底座
如果你也刷到过「本地部署大模型」的视频,多半看过同一个画面:博主点开一个网页,模型唰唰地往外吐字,字幕写着「数据不出本机」。看得心痒,点开帖子下面一问,得到的答案要么是「下一个Ollama」,要么是一串看不懂的命令。
llama.cpp+ComfyUI-Krea2身份保持生图:24G显存跑创作闭环
24G 显存要同时跑 Qwen27B推理和 Krea2身份保持生图?听起来不可能,但我的创作定制 agentic 工具做到了。本文将全流程讲解如何构建该定制agent。写在前面:我的创作定制 agentic 工具是什么?
llama.cpp v0.9.0 塞进四样新东西,本地跑模型的老牌狠人又出手了
先说结论:这版最狠的不是又多了几款新模型,而是 OCP FP8 E4M3 量化和多机张量并行(NCCL)正式落地。前者让你用更少的显存塞下更大的模型,后者第一次让 llama.cpp 能"串机器"干活。但先别急着高兴——官方这次没有给出任何具体的提速百分比数字。
弃用Ollama换llama.cpp:体积小20倍,模型加载快了6倍
一、你花一个晚上装好的 Ollama,壳比芯还重很多人第一次跑本地大模型,都是从一行命令开始的:两分钟后模型跑起来了,体验很好。但如果你翻过 Ollama 的源码仓库,会发现一个尴尬的事实:它的推理核心不是自己写的,而是直接内嵌了 llama.
Ollama换掉之后:vLLM和llama.cpp该选哪个?两个默认值差出13%
一、同一个模型文件,两个默认值就能改变结论同一台电脑、同一份 2.5GB 的 GGUF、同一个 llama.cpp,只把启动参数从默认改成 -c 4096 --parallel 1,单个用户的出词速度就从 37.3 tok/s 变成 42.7 tok/s。
llama.cpp 悄悄换了地基,多数人还在数模型名单
上周刷技术圈,满屏都在喊"320B模型来了""解码快1.5倍",热闹是真热闹。但我翻完整个更新日志,觉得大家可能把重点搞反了。llama.cpp v0.6.0 这版,表面上最抢眼的是模型阵容。GLM-5.
llama.cpp v0.3.0:单卡推理快 50%,多卡党/Mac 党/单卡党各 1 个升级
llama.cpp 昨天在 GitHub 发了一个正式版本号 v0.3.0——这是这个开源项目 3 年来第一次走出 b10621 这种 nightly 编号,给了一个 semver 意义上的"正式版本"。