GitHub 16.7K Star!DeepSeek、Qwen 本地跑,这个推理引擎值得关注
以前想运行一个参数规模达到数百 B 的大模型,通常离不开数据中心级别的 GPU 和昂贵的硬件资源。普通开发者想在自己的电脑上部署这类模型,往往第一步就被显存限制劝退。但现在,有个开源项目正在尝试改变这件事。
GitHub 47.9K Star!本地部署大模型,终于不只是拼显存了
先说结论:Colibri 这个项目值得关注,但别被“744B 本地跑”冲昏头。它真正改变的不是“普通电脑秒变服务器”,而是把本地大模型的门槛从“显存够不够”扩展成了“磁盘、内存、显存和调度效率怎么配合”。标题里的 47.
官方不出PC版,玩家一个月自己搬上PC了4款
过去一个月,四款官方从未出过 PC 版的游戏,被玩家自己搬上了 PC。10 月 7 日《P.T.》,10 月 8 日《银河战士 Prime》,10 月 27 日《战争机器2》《战争机器3》和《战争机器:审判》,10 月底初代《战神》。这四款的共同点是发行商一个都没动手。《P.T.
GitHub开源工具:有了它,普通电脑也能跑千亿大模型
想在自己电脑上跑最强的开源大模型,第一道坎永远是显卡。动辄几百 GB 的模型,要塞进显存里,得好几张几万块的卡。最近我在 GitHub 上翻到一个项目,换了个思路:不用把模型整个装下,用到哪块就从硬盘里读哪块。它叫 colibri,意大利语里是“蜂鸟”。
GitHub 39.6K+ Star!4G 显卡直跑 2.8T 超大模型!普通电脑跑千亿模型
如果你之前接触过本地部署大模型,一定会有个根深蒂固的认知:想要跑千亿级参数大模型,高端显卡、几十GB显存是硬性门槛。之前我自己折腾本地AI深有体会。想跑70B模型,至少要准备一张24G显存的显卡,就算做4bit量化压缩,16G显存也只能勉强撑住。至于2.
实测阿里版Muse:千问Go 7×24小时在线,帮我逛淘宝、盯大麦
如果有这样一个AI,它有一部手机和一台电脑在云端24小时运转等你发号施令,能登录你的淘宝、高德、大麦,能帮忙挑选商品,还能在云端电脑上开发游戏,甚至可以一句话做出应用,你会拿它来做什么?
GitHub上这5个Windows神器,你可能一个都没听过
GitHub 47.9K Star!本地部署大模型,终于不只是拼显存了
以前想在本地运行一个超大规模 MoE 模型,最先遇到的问题通常不是模型怎么下载,而是:显卡显存根本装不下。比如一个拥有数百 B 参数的模型,权重文件可能达到数百 GB。普通电脑即使有一张独立显卡,也很难把整个模型都放进显存。但最近发现一个挺有意思的开源项目:Colibri。
找电子书不用来回切换网站,GitHub这个索引库资源很全
不知道大家有没有遇到过这样的情况,想找一本书的电子版,来回切换好几个网站,搜出来要么链接失效,要么资源不全,还有不少页面到处弹窗广告,折腾半小时最后一无所获。很多人找书的习惯就是,浏览器开一堆标签页,这个网站搜不到,立刻换到下一个,运气好才能找到对应的资料,运气差直接放弃。