11 月 18 日,腾讯混元宣布开源 Hy4 flash,放出 Hy4 flash、Hy4 flash-FP8、Hy4 flash Base 三个版本,开发者可在 GitHub、Hugging Face、ModelScope、GitCode 四个平台下载部署。距该模型 11 月 16 日正式发布仅两天。
腾讯张军在社交平台表示,腾讯混元 Hy4 flash 为迄今为止性价比最高的混元模型,每百万 Token 输入 0.5 元、输出 2 元,命中缓存时仅需 0.02 元,价格相比 Hy4 大幅降低。该模型已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线,即将接入 OpenRouter。
Hy4 flash 是腾讯定位的 Hy 系列性价比最高模型,总参数在 11 月 16 日发布稿标注 224B(其中 64B Engram 参数),本次公开的 GitHub README 则标为约 220B,激活参数约 12B,支持多模态输入与 100 万 Token 上下文。腾讯称正在加速开源旗舰 Hy4,具体时间和版本未公布。
三款版本各有分工:FP8 版提供低精度权重,Base 版面向后续训练和定制。腾讯单独披露了 Base 版成绩,数学评测 U-MATH 得 69.8 分(DeepSeek-V4-flash-Base 为 57.4 分),代码评测 MBPP-plus 得 73.7 分(后者 76.8 分),内部代码与 Agent 验证集 BPB 约 0.198,低于 DeepSeek V4 Flash-Base 的 0.232。
架构上,Hy4 flash 引入混合注意力、LatentMoE 和 Engram,KV Cache 约为旗舰 Hy4 的六分之一。腾讯称后训练阶段用 Hy4 对 Hy4 flash 自蒸馏,再用强化学习缩短输出,端到端任务输出长度降低约 50%;结合 4bit 量化,解码速度可超每秒 150Token。