用 Guardrails 给大模型输出兜底,跑偏的字段当场拦下重试
你有没有遇到过这种事:让大模型返回一个 JSON,prompt 里千叮万嘱「只返回 JSON、不要解释」,结果它还是给你前面加一句「好的,这是您要的结果:」,或者把金额字段返回成「大约一百块」。下游解析直接炸,半夜被告警叫起来。我们线上一个抽取服务就栽在这上面。
如何在自己的数据上微调一个小模型(完整指南)
你不需要一个 70B 的模型。你不需要 10 万美元的算力。你也不需要一支机器学习团队。一个 15 亿参数的模型,只要在 200-500 个高质量样本上做好微调,在你那个具体任务上就能胜过被泛泛提示的前沿大模型。这就是完整指南。数据收集。清洗。数据集构建。QLoRA 训练。
1B端侧模型实现实时语音转写,Nemotron-3.5-ASR实战
根据实测数据,Nemotron-3.5-ASR 在 Q4_K_M 量化下的权重约为 1.0GB。至此,我们已经完成了从语音输入、模型推理、链式编排到数据持久化的完整闭环。
「假电脑」教AI用电脑,出的题连GPT-6 Astra都做不对
合成环境后,再在里面合成高质量的 agent 任务、对应的 verifier 验证器,来组成 {environment, task, verifeir} 训练样本,只在这些合成的环境中训练两个 Qwen 模型,却在 8 个横跨 web agent, claw agent 和 GUI computer-use agent OOD 常见评测榜单上全部有提升。
让大模型读懂 K 线的语言:Kronos,第一个开源金融 K 线基础模型
图:Kronos 项目 Logo,来源于项目官方仓库 README。我盯盘十几年,一直有个执念:K 线图其实是市场的"语言",可通用大模型偏偏读不懂它。现在,这句话终于被一个开源项目认真回答了。
模型幻觉编造数据,加个后置校验对不上原文就打回重来
上周我们组接了个活儿,从一堆财报 PDF 里抽关键数字,做成结构化 JSON 入库。一开始想得挺简单,丢给 GPT-4o 让它输出,字段填得规规矩矩,看着特别舒服。结果抽检的时候发现,有一条营收数字是 12.7 亿,原文里压根找不到,最接近的是「营业收入 11.9 亿元」。
GPT-6爆改模型权重,数学能力狂飙6倍,MIT博一新作破圈了
不用训练、不算梯度,只让GPT-6 Astra改写另一款小模型0.016%权重,数学成绩就能原地暴涨6倍!
不用梯子!Codex接入永久免费全模态模型,我跑通了,全程3步
很多做开发、玩AI工具的朋友,应该都听过Codex。它本身是面向代码场景的智能代理工具,能读代码、查bug、写新项目、看懂截图里的界面需求,还能联动工具自动执行任务,是写代码非常好用的助手。
私有AI实战09:Qwen、DeepSeek等开源大模型这么多,到底选哪个?
同样是8B大模型,为什么有的写中文更顺手,有的更适合数学推理,还有的在代码生成和工具调用上表现不同?本地部署时,究竟应该选择哪个?