塔斯娱乐资讯网

我拆开MoE看:671B参数的模型,每次只叫醒37B上场

刷模型发布,常看到两个数字并排写着:总参数 671B,激活 37B。差了快 18 倍。我一开始也纳闷,到底哪个才是这个模型的大小?把 MoE(混合专家,Mixture of Experts)拆开看了一遍才搞明白:这两个数字说的根本不是一回事。
先看老路子:一个专家包打天下
传统大模型(行话叫稠密模型,dense)可以想成一位全科医生。不管你是感冒、骨折还是牙疼,坐下来他都从头看到尾。落到模型里,就是每来一个词,网络里所有神经元都要参与算一遍。参数堆得越大,每次推理要算的量也跟着往上走,算力成本基本是线性涨的。
MoE:先分诊,再叫对口的专家
MoE 换了个思路。它在每一层放了一大批“专家”,每个专家其实是一小片独立的神经网络(前馈子网络),各管一类规律。前面再加一个很轻的“路由器”(行话叫 gating / router),负责给当前这个词打分,判断该请哪几位专家上场。
打个比方,像一家专科医院。进门先有分诊台,你说嗓子疼,它把你领到呼吸科;你说膝盖肿,领到骨科。不用全院医生围着你一个人会诊。一个词进来,路由器从专家池里挑最相关的几个,其余专家这一轮歇着,不参与计算。
MoE 路由器从专家池挑 top-8 上场示意图

拿 DeepSeek-V3 的数字对一遍
公开资料里,DeepSeek-V3 是个典型 MoE:总参数 671B,每个词只激活 37B。它每一层有 256 个路由专家,外加 1 个所有词都必走的共享专家;路由器从 256 个路由专家里挑前 8 个,加上那个共享专家一起干活。
也就是说,671B 是这家“医院”一共养了多少专家的总盘子;37B 是你这次问诊真正接诊的那几位。总盘子决定模型能装下多少类本事,激活量决定这一次回答要花多少算力。
两个容易搞混的地方
专家不是人,是网络片段。别把专家理解成一个个具体的工程师或学者,它就是一层里的一小片神经网络,被训练成更擅长处理某一类输入。
激活 37B 不等于模型只有 37B。没被选中的专家参数也完整躺在模型里,只是这一轮没上场;换个问题,可能就轮到另一批专家。判断一个模型跑起来费不费资源,主要看激活参数;看它本事的上限,再结合总参数一起看。
这么设计图什么
好处很直接:总参数可以往大里堆,把专家池铺厚,单次推理却只算被选中的那一小部分,训练和推理成本不至于跟着总参数翻倍。这也是这两年大模型又想做大、又想压住成本的一条主要路子。
代价也有。专家多了,路由器得把活儿分匀,不能老盯着那几个热门专家派单,否则其余专家白养;部署时整套专家参数都得放在显存里,显存占用看的还是总参数,省的是单次计算量,不是存储。
收尾
下次再看到“总参数 X、激活 Y”这种写法,先分清楚:X 是总盘子,Y 是这次真正动手的部分。读模型发布不再被一个大数字带着走,就够了。
下次再看模型介绍,你更想先看总参数还是激活参数?为什么,评论区聊聊。
#人工智能# #大模型# #MoE#