小模型循环3次,跑赢同级大模型
11月20日,Thinking Machines Lab 发布了 Inkling 2 Mini,一款开源权重的小模型。它只有 26.4B 参数,却能在笔记本上本地运行,整机显存占用约 20GB。
它的诀窍是「循环」:24 层里中间 12 层每生成一个 token 就跑 3 遍,相当于 48 次层访问,用更少的参数换来更长的推理。在 DeepSWE v1.1 上它拿到 48.2%,在同体量开源模型里排第一,AA 指数 20.1 追平了 Qwen3.8-27B。
小模型本地跑,意味着代码助手不用再把代码发到云端,离线也能干活。官方演示里,研究员在飞机上用一台 MacBook Pro 离线跑它,几分钟就写出一个可玩的飞行模拟器。
当然它也有短板,多轮对话和知识类测试上并不占优,记事实还得靠参数规模。但它证明了一件事:模型变强不一定靠堆参数,结构上的巧思同样能打出大效果,本地 AI 的门槛正在被这类小模型一点点拉低。