SK海力士内存池化:AI首token延迟降81%
11月12日英特尔AI首尔峰会,SK海力士展示CXL内存池化方案:远程DRAM给GPU“外挂”共享内存,解决长对话KV缓存撑爆显存的问题。
测试数据:首token耗时,CXL方案15.45秒,SSD方案33.56秒,重算方案80.76秒。CXL比重算快约81%,比SSD快约54%。
原理:把KV缓存放到多台服务器共享的CXL内存池,GPU需要时直接读,不用反复搬运或重算。
SK海力士副总裁称,内存池化可提升利用率、扩展性并降低系统成本,目前正与客户验证,并与英特尔在系统设计阶段合作。
AI推理的“内存墙”,正在被CXL池化凿开一道口子。
信息来源:金融界、36氪、SK海力士官方,2026年11月12日
SK海力士 CXL 内存池化 AI推理 KV缓存 英特尔


