11月21日凌晨,Reddit的LocalLLaMA社区里,一场AMA悄悄拉开帷幕。腾讯混元团队坐下来和全球开发者直接聊天,姚顺雨也在评论区,只是没人知道哪个账号是他。这场对话来得很巧,前一天腾讯刚放开Hy4旗舰模型权重,更早几天Hy4flash也正式亮相。一边是接连上新的两款模型,一边是国内大模型共同面对的算力约束,还有榜单评测的争议。大家最关心的问题,其实就一句话:在高端芯片不好拿的环境里,国产大模型还能不能追上全球最顶尖的水平。这场没有稿子的问答,把混元真实的技术路线、取舍和规划,全都讲透了。
一、算力受限,依旧坚持做大模型,也不放弃小模型
整场问答里,被问得最多的,就是算力瓶颈和模型规模。面对开发者的提问,混元团队的回答很实在:他们正在想尽办法用好手里现有的资源,追赶前沿。
很多人好奇,别家已经朝着万亿参数的超大规模模型冲刺,为什么Hy系列之前停在700B左右。团队给出的想法很有意思:Hy3、Hy4已经证明,训练扎实、规模适中的模型,有时候能力反而能超过更大的模型。而且中等规模的模型训练成本更低,团队能在迭代里积累更多经验。但这不代表他们放弃“做大”。团队明确表态,下一代Hy模型一定会继续扩大参数规模,大规模强化学习也会持续投入。他们依然相信Scaling法则,更大的模型天花板更高。
做大模型的同时,面向本地部署的小模型路线也同步铺开。Hy4-mini已经放进路线图,Flash-Lite、适配24GB显存设备的模型都在规划中。团队也在考虑24B到31B的稠密模型,适合64GB、128GB内存设备的版本也会推出。开发者最关心的本地跑模型这件事,混元不是只做一个大模型就完事,而是搭起一套从超大旗舰、高性价比MoE,到适合家用显卡的小模型的完整梯队。
当然,Hy4本身还有不小的提升空间,尤其是后训练。团队说Hy4还有很多潜力可以挖,强化学习、安全对齐、用户体验都会持续打磨。长思维链带来的“过度思考”是一个已知问题,Hy4为了更高上限,推理时会想得很久;而Hy4flash就用强化学习把思考过程收短,直接承接Hy4蒸馏出来的能力,兼顾成本和速度。
二、架构取舍:选MLA不是一拍脑袋,MoE也不是越稀疏越好
不少硬核开发者盯着Hy4底层架构,这次混元也第一次讲清楚当初的选择。团队在GQA和MLA两种注意力机制之间纠结了很久。MLA的优势是同等KVCache下,模型质量更好,但缺点是计算强度更高,推理的时候容易卡在算力瓶颈。最后是DSA技术降低了MLA解码阶段的开销,才让他们下定决心选用MLA。
到Hy4flash的时候,架构又做了新一轮融合。它继承了Hy4的iHC、门控MLA、DSA,新增滑动窗口注意力、LatentMoE和Engram。滑动窗口注意力能把KVCache压缩到原来的四分之一,推理成本直接降下来。iHC对比mHC、门控残差,胜在简单,用更低成本拿到接近的效果。
聊到MoE稀疏度,团队也打破了一个常见误区:很多人觉得激活参数越少越好、越稀疏推理越快,但混元的结论是,MoE不能一味追求极致稀疏。如果总参数不变,一味压低激活参数,推理深度、长上下文跟踪、工具调用稳定性都会最先变差。过度稀疏的模型,会吃掉大量显存,GPU算力却跑不满,数据中心场景下并不划算。不过他们也承认,端侧硬件不一样,面向本地设备的模型,架构会跟着硬件特点重新设计。
还有大家关注的Engram参数配比。在Hy4flash里,Engram占总参数大约三分之一,是团队在实验里找到的平衡点,落在U型曲线的最低点,兼顾记忆和推理。整个架构调整,不是靠灵感,而是一轮一轮不同规模的Scaling实验,再结合推理系统一起磨合出来的结果。
三、榜单只是参考,开源会继续走,安全边界划得很清楚
最近第三方评测榜单调整,不少国产模型分数波动,开发者很在意榜单的偏向性。混元团队的看法很冷静:单一榜单决定不了模型在真实世界里能不能被大家用起来。他们内部会同时看公开评测、内部任务基准、真实用户反馈,判断模型好不好,最终要看完整的实际表现,而不是一张跑分表。
还有一个核心问题,会不会以后像Meta一样转向闭源?团队给出明确答复:现阶段会持续开源。他们愿意和开源社区互相学习,也愿意把成果回馈社区。面对不同实验室对比排名的挖坑提问,他们也笑着绕开,只说各家都有自己的亮点。
安全对齐的部分,是这次问答里很有分量的内容。混元在训练数据里主动过滤了漏洞利用、攻击性逆向相关内容,只保留漏洞分析、修复这类防御方向的数据。所以Hy4的特点是,找漏洞的能力不错,但拿去做攻击利用的能力被刻意弱化。团队解释,这是负责任开源的必要选择,同时也承认,怎么避免模型对正常的CTF、安全研究请求过度拒答,依旧是需要持续优化的难点。
在内部评测环境里,模型的网络访问会用黑白名单严格管控,Agent评测环境里,还要持续监控模型的攻击行为,随时修复环境漏洞。AI对齐失败的历史案例,不会拿来训练,只会放进评测集,用来持续监测风险。
四、不止是代码模型,还有很多长线布局藏在细节里
这场问答里,还有很多容易被忽略的长线规划。图像生成方面,团队正在考虑更小的开源图像模型,视频模型也有新动态,只是暂时没有公布时间。翻译模型Hy-MT即将升级,开发者提的中文网文翻译需求,团队也记了下来。Hy4目前还没有音频理解能力,方言识别、实时语音翻译暂时没法直接支持,相关能力可以走腾讯元宝的语音能力。
在更前沿的方向上,递归自我改进RSI还处在早期阶段,团队已经搭建内部评测基准,同时在开发Hyra3.0,给模型自主研发打造工具链。被问到AGI等级,团队成员给出个人判断,Hy4大约在DeepMind分级里的2.5级。
还有一个很贴合普通用户的细节:很多开发者吐槽,现在不少大模型写东西越来越模板化,可读性变差。混元团队也注意到这个行业共性问题,他们把写作质量、可读性当成重点改进方向,希望模型输出更贴近真人,而不是千篇一律的套话。
问答的最后,有人问什么会开启AI下一个时代。混元给出的答案不是某个惊天架构,而是数据和评测。数据决定模型能学会什么,评测才能引导模型朝着正确方向往前走。
这场Reddit上的AMA,没有华丽的发布会PPT,只有开发者一连串尖锐、务实的问题。它让我们看见,国内大模型赛道现在的状态,不是单纯拼参数数字,而是在有限算力、成本、安全、开源生态之间不断找平衡。Hy4和Hy4flash两条路线并行,一边冲能力上限,一边压低落地成本,大小模型同步推进。这条路不好走,但混元已经把自己的选择摊在了所有人面前。