CXL崛起:2024启航,2025年开启新时代
在2019年,Intel主导联合多家阿里巴巴、Facebook(也就是改名后Meta)、谷歌、Dell、华为、思科、微软、HPE最初的八巨头,发布了新的互联协议CXL,全称Comupte Express Link。由于在服务器领域享有绝对领导地位,Intel一经号令,遍得到万众呼应。特别是另外两家CPU巨头AMD/ARM和GPU一哥NVDIA的加入,让CXL阵营更加全面强大,为下一步的生态普及打下了坚实的基础。
CXL诞生的基础是为了解决CPU内存和附加设备内存的互联,实现资源共享,得到最大的性能提升。随着数据大规模超算、AI、5G、云技术、边缘计算、自动驾驶等蓬勃发展,未来的数据存在指数级的增长且要求实时计算。
根据有关机构的测算,从2020到2025年,用于AI计算的服务器的数量将成长2倍。而AI计算的服务器对内存和存储的需求更加的强劲,对计算的性能也有更高的要求。
然后随着CPU core的不断增加,单core享用的内存带宽却在不断的下降,这对计算绝对是巨大的拖后腿,这就必须要有新的计算互联技术来解决这个头疼的问题,CXL也就顺势而生。
CXL 2.0是基于PCIe 5.0基础上定义,允许替代协议使用物理PCIe层的PCIe 5.0特性。当CXL加速器或者扩展卡、PCIE设备同时插入主机端口时,会优先pcie协议1.0速率协商,当双方确认支持CXL后,再激活CXL互联协议。
CXL协议包含了三种协议,分别是CXL.io、CXL.cache、CXL.memory.
-
CXL.io:是基础协议,基本跟pcie 5.0协议等同。用于初始化、链接、枚举、注册,CXL设备必须要支持CXL.io.
-
CXL.cache:定义CPU和设备之间互联,允许CXL设备低延迟访问主机缓存数据。
-
CXL.memory:用于CPU直接访问CXL设备的内存的协议
这三种协议,CXL.io是必须的,CXL.cache和CXL.memory可以自由组合使用,不强制。根据三种协议的组合形式,CXL协议支持的设备类型主要分为三类:
-
Type1: 智能网卡NIC等缺少本地内存的加速设备,可以在同CXL.io和CXL.cache直接访问加载在主机内存的数据,减少访问的延迟。
-
Typ2: GPU、FPGA等计算设备都配置了内存,可以使用CXL.io、CXL.cache、CXL.memory三个协议组合,CPU和计算设备之间可以相互快速访问,同样可以降低访问的延迟。
-
Type3: 内存扩展设备,利用CXL.io和CXL.memory进行内存扩展,增加内存带宽,解绑CPU单core内存带宽不足的问题。
从2019年的CXL 1.0,CXL协议目前已经发展了CXL 3.0。目前的CXL 1.1(PCIe 5.0)支持直接内存扩展器连接。CXL 2.0(PCIe 5.0)将引入CXL交换机,扩展内存池功能。同时,CXL 3.0利用PCIe 6.0将启用级联交换机和点对点连接,促进完整的服务器解聚和可组合性。CXL标准包括三种协议(CXL.io、CXL.cache和CXL.mem),支持三种不同的CXL设备类型。这三种CXL设备类型,目前来看,Type3内存扩展方案的发展最迅速,也是带给数据中心和内存厂商最大的机遇。
根据Yole机构分析数据显示,CXL在2024年开始爬坡,在2025年将会大规模上量,也就是代表着CXL的时代从2025年开始正式到来。
服务器目前正面临着内存性能挑战,而CXL部署提供了短期和长期的解决方案。从CXL 1.1开始,AI云服务器可以从内存扩展中受益,而CXL 3.0有可能为GPU、DPU、FPGA和ASIC等加速器提供直接访问内存池的权限。预计云服务提供商和超大规模企业将对由CXL 2.0发起的内存池和可组合服务器表现出浓厚的兴趣。同时,数据库服务器将利用运行更大的内存数据库以加快分析速度的能力。
数据中心工作负载变得越来越复杂,需要越来越多的计算能力和内存来处理不断增长的数据量。内存是一种非常昂贵的资源,2022年占服务器价值的平均比例约为30%,预计到2025年将超过40%。为了解决这些问题,已经提出了新型内存处理器接口,旨在优化资源的使用和加速数据中心工作负载的执行。在这种动态背景下,CXL已经崛起并获得了业界的广泛支持。
三星和海力士目前都发布了CXL内存扩展方案,Marvell也为了CXL收购了CXL技术领先开发商Tanzanite,国内厂商澜起科技在今、去年也发布全球首款CXL内存扩展控制器芯片(MXC), 三星的CXL 2.0产品也是采用的澜起CXL内存扩展控制器。
三星的CXL产品方案-举例:
采用E3.S接口,也是数据中心为了的趋势,基于CXL2.0协议,CXL link带宽x8,容量512GB,基于DDR5设计,最大带宽达到32GB/s.
三星测试场景中,用DDR+CXL纵向扩展 vs DDR*3横向扩展进行性能比对,结果发现,在4K chunk size场景下,性能提升接近3倍,也可以看出CXL带来的巨大收益。
同时,三星还是提出了基于CXL协议的SSD。
基于这种架构,IO可以更小力度的访问,结合DRAM聚合,实现更大的IO性能。海力士也提出了类似的架构,实现Byte字节粒度的访问。
海力士CXL产品方案-举例:
也是基于DDR5,但是容量没有三星的大,只有96GB. 同样基于CXL2.0 over PCIe Gen5 x8, 随机带宽最大30GB/s.
未来CXL将是巨大的机遇,CXL扩展expander、内存池化、加速计算、CXL switch都将发挥各自的能量,打造强大的CXL生态,造福互联世界,让我们共同期待!