[CNMO科技消息]11月16日,摩尔线程宣布,旗下MTTS5000旗舰级AI训推一体智算卡与MUSA软件栈已完成月之暗面KimiK3.1Pro模型训练适配,并构建原生FSDP2多模态训练路径。在双机16卡联合测试中,系统连续完成400步训练,未出现数值溢出或异常中断,视觉分支也实现了实际梯度更新。
摩尔线程
KimiK3.1Pro是一款开放权重原生多模态模型,总参数量约2.8万亿,支持最高100万Token上下文。模型采用KDA、GatedDSA混合注意力机制与MoE混合专家架构,同时具备视觉理解和工具调用能力。由于模型涉及动态稀疏检索、专家路由以及图文联合训练,对GPU算力、显存管理和多卡通信提出了更高要求。
摩尔线程此次适配主要围绕注意力计算、动态路由、视觉编码和跨模态投影展开,将这些模块接入统一的前向、反向与参数更新流程。训练方案保留NeMoAutoModel原生流程,通过FSDP2将模型参数、梯度和优化器状态分散至不同GPU,减少单卡显存压力,跨卡及跨节点通信则由MCCL负责。
实际测试采用两台服务器、共16张MTTS5000智算卡,模型使用13层语言主干、16个路由专家(Top-8路由),并保留完整27层视觉塔和跨模态投影模块。训练使用MedPix-VQA图文数据集,全局批量为16,序列长度为1024。全部16个训练进程连续完成400次优化器更新,训练Loss从第21至70步平均8.9365下降至最后50步的2.1802,验证集Loss也从第100步的6.5297下降至第400步的4.6873,设备采样显存峰值为44.80GiB。
视觉分支的参与情况也得到验证。技术团队检查发现,视觉塔图像嵌入、首尾层以及跨模态投影模块均产生了非零梯度和参数更新,说明视觉编码部分实际参与了训练,而非仅作为数据输入。需要注意的是,此次验证采用随机初始化的裁剪配置,并非完整模型的全规模预训练,主要用于验证训练链路的功能正确性与稳定性。
除基础训练适配外,摩尔线程还完成了FSDP2与专家并行协同、参数预取与梯度通信调度、高性能KDA算子以及ChunkLoss分块计算等优化。其中,本次400步测试实际启用了ChunkLoss,其余三项也已完成适配,可用于支持更大规模的训练配置。