Marvell$迈威尔科技(MRVL)$ 〈作为系统的定制 HBM:为 AI 加速器协同设计基片、晶粒间供电与封装散热〉1、HBM 已成为 AI 加速器最大的成本与面积负担1)作者是 Marvell 定制云解决方案产品管理总监 Hsin-wei(Mark)Tseng。2)HBM 约占典型加速器芯片面积的 30%,按 2026 年的内存价格计算,占 XPU 成本超过一半。3)每一代 HBM 都会增加带宽,也带来更宽的接口,在同一个封装里产生更多功耗和热。4)Marvell 在 2026 OCP 全球峰会(圣何塞)提出,定制 HBM 要把基片、晶粒对晶粒(D2D)接口和封装散热当成同一个系统一起设计。2、内存接口正在挤压运算芯片1)单一 HBM 堆叠的带宽约每两年增长 1.7 倍,从 2020 年 HBM2E 的 0.5 TB/s 到 HBM4E 预期最高 4.1 TB/s,约增加 8 倍。2)HBM4 把接口宽度加倍到 2,048 位。3)XPU 上的 HBM PHY 和控制器会占用芯片面积、功耗与“海岸线”(芯片边缘连接内存的位置),HBM 堆叠越多,越会跟运算逻辑抢空间。4)HBM4 把基片改用逻辑制程,让定制基片成为可能,业界开始采用。3、定制 HBM 改变了什么1)Marvell 的定制 HBM 架构在每个 DRAM 堆叠下方放一颗定制基片,把内存控制器移出 XPU,并以省电、省面积的 D2D PHY 取代 XPU 边缘宽大的 HBM PHY。2)依 XPU 设计不同,跟采用标准 HBM 的 XPU 相比,运算面积最多可增加 25%,HBM 堆叠最多可多 33%,内存接口功耗最多可降 70%。3)D2D PHY 比较窄、占用的海岸线较少,这就是能多放 HBM 堆叠的原因。4、DRAM 底下加逻辑,散热成为首要限制1)在 2.5D 封装中,HBM 堆叠内部热阻占其总热阻的 57%,旁边的 ASIC 只有 13%,限制来自堆叠本身,而不是逻辑芯片。此数据引自三星(Samsung)在 IEEE ECTC 2026 发表的研究。2)堆叠从 8 层增加到 16 层后,内部温度预计在 2028 年前超过散热预算。3)28 Gbps 以上的下一代 HBM 热通量预期超过每平方毫米 2.0 W,最热点就在基片的 D2D PHY,也正是定制 HBM 新增逻辑的位置。4)散热界面材料(TIM)、上盖和散热方案,最好从一开始就跟运算芯片、基片和封装一起规划。5、业界解决散热的三种方向1)在 D2D PHY 区域加入硅散热通道:用不导电的硅做集成散热元件,让热直接导到冷板,热阻可降 30% 以上;HBM5 概念也在核心晶粒堆叠旁加入类似的导热区块。2)混合键合(hybrid bonding):以铜对铜键合取代微凸块和底部填充,消除晶粒之间约 30 微米的间隙。已发表的结果显示,晶粒间热阻降低 23% 至 47%,键合层垂直导热率最高提升 3 倍,堆叠高度缩短 15% 以上。3)硅上液冷:在芯片内直接蚀刻冷却液通道。Marvell 估算,若把相关研究测量到的热通量放大到约 800 平方毫米的光罩尺寸芯片,每颗芯片约可散热 2 至 4 kW。6、D2D 接口省下的每一分电都能回到运算1)对定制 HBM 来说,每位元能耗比带宽密度更关键。2)自适应电源管理可追踪数据中心突发性流量,跟没有此功能的接口相比,一般负载下接口功耗最多降 75%,尖峰流量下仍可降 42%,在突发性的 AI 推理流量下省最多。3)HBM5 等级的堆叠若在 9 毫米海岸线上提供 7.2 TB/s,约需每毫米 6.4 Tbps;Marvell 每线 64 Gbps 双向 D2D 接口的设计目标超过每毫米 30 Tbps,接近需求的 5 倍。7、高性能定制 HBM 检查清单1)基片与面积:把 PHY 和控制器移到定制基片,最多收回 25% 的运算芯片面积,并加快在不同内存厂之间的基片定制。2)D2D、TSV 与混合键合:降低 D2D 功耗,从 2.5D 到 3D 混合键合沿用同一套 D2D 架构,并证明混合键合在量产时的良率。3)封装散热:在 D2D PHY 预留硅散热通道,TIM、上盖和冷板要跟基片一起规划,散热验证要做到每个堆叠 100 W 以上、每平方毫米 2.0 W 以上。4)生态系统:内存厂、晶圆代工厂、封测厂(OSAT)和 XPU 设计商要协同,并在供应链间共享热模型与测试数据。8、图片1)图 1:左边是标准 HBM,HBM PHY 加控制器位于运算芯片上,运算逻辑约占芯片 70%;右边是定制 HBM,内存控制器和 D2D PHY 移到每个 DRAM 堆叠下方的定制基片,运算逻辑面积最多增加 25%。2)图 2:2.5D 封装剖面与热阻组成。ASIC 的热阻中,内部占 13%、TIM1 加上盖占 27%、TIM2 加散热占 56%;HBM 的内部热阻占 57%、串扰 14%、TIM1 加上盖 12%、TIM2 加散热 17%。3)图 3:以没有自适应电源管理的接口为 100%,SBD 在尖峰流量下的 D2D 功耗为 58%,在一般负载下为 25%,降幅 75%。