百度 11 月 5 日把 ERNIE-5.5-Flash-Base 的权重放上 Hugging Face 和 ModelScope 了,FP8 和 BF16 两份都给。2800 亿总参数,一个 token 激活 140 亿。
很多人只看到后半句,觉得激活这么点,企业自己搭个知识库和客服该够了。官方模型卡写的是一套稀疏 MoE 加压缩注意力的设计,目标是在长文本和高并发下把算力和 KV cache 压下来。
我翻模型卡的时候在调用示例那停了一下。写的是 /v1/completions,输入是半句英文,不是 chat。
名字最后那个 Base 就是这个意思。官方写得很明白,这是预训练终点的 checkpoint,中训练和后训练都没做,指令跟随、偏好对齐、拒答策略一样没有,用途是给做领域适配、指令微调和强化学习研究的人当起点,后训练版随后发。你给半句话它能往下续,你问它一个完整问题它接不住。
所以这次放出来的不是一个能上线的客服,是一段没走完的路。
「只激活 14B」省的是每个 token 的乘法次数,不是显存。280B 的权重还是得全装进去,这个跟激活多少没关系。官方省显存的办法在别处,43 层里 37 层用重度压缩注意力,128 个 token 压成一条 cache 条目,只有 6 层保留逐 token 的全上下文。
架构上抠得更细的地方在这几处。512 个专家里选 10 个,另加一个共享专家。门控做了低秩,参数砍掉四分之三。还有个叫 ECHO 的,拿最后一层直接预测后面的 token,不另开多 token 预测模块,同一层还能当投机解码的 draft。
上下文也是这个思路。训练是 128K,微调和推理扩到 1M,预训练用了 33.5 万亿 token。
想做全参微调,官方指的路径是 NVIDIA Megatron-Bridge 里的示例配置。有人在里面看到 16 个节点、每节点 4 张 GB300,这条我在百度发布页上没找到,属于第三方整理。
跑分是百度自己报的。30 项基准里它第一 24 项,MMLU-Pro 78.4 对 DeepSeek-V4-Flash-Base 的 69.2,HumanEval+ 82.3 对 69.5。官方那张表里也有输的,ChineseSimpleQA、带思维链的 BBH、InfiniteBench 这三项是对手好。同一套 harness 自测,没有第三方复现。
许可证比架构更该看。不是 Apache 2.0,是百度自己写的一份 ERNIE 5.5 Flash Base Model License Agreement v1.0。Territory 写的是除欧盟、英国、韩国之外的世界各地,模型本体、衍生模型、输出都不能在那一块用。
商用线画在连续 12 个月相关营收 5000 万美元,线下免许可费,但要给百度发一次通知,还要挂 Powered by ERNIE,过线得事先拿书面授权。
上一次放权重是 ERNIE 4.5,2025 年 6 月,用的 Apache 2.0。中间 5.0 和 5.1 都没放,隔了 16 个月,协议换了。这个变化比架构参数更值得看两眼。
部署这块百度没开托管 API,官方说可以通过 SGLang 和 vLLM 服务。讨论区里问得最多的是怎么起,有人提到 vLLM 得配百度自己的插件,这类属于社区经验,官方卡上没写版本号。
真要上,先算标注和评测这两块的工期。模型本身这块,反而不难。