三星将HBM-PIM芯片直接加入到堆栈中,可以与符合JEDEC标准的HBM2内存配合使用。性能方面,三星使用赛灵思(Xilinx)AlveoFPGA进行测试,确认这款AI加速器有2.5倍的性能提升,同时降低超过60%的能耗。

三星表示:PIM技术目前已经可以和任何标准的内存兼容,但如果CPU厂商能够提供优化,某些情况下的性能提升会更大。三星已经与一家CPU厂商测试HBM2-PIM,以便在未来产品中使用。由于英特尔SapphireRapids、AMD的Genoa、Arm的Neoverse平台在内的新一代处理器都支持HBM内存,未来应用范围会相当大。

从性能表现来看,三星的PIM技术很适合数据中心使用,而三星进一步将该技术转向更为标准的内存。三星在本次活动中演示AXDIMM内存,对现有内存的优化,在缓冲芯片内集成AI引擎,尽可能减少CPU和DRAM之间的大量数据交换,以提高效率。AXDIMM内存插入到标准的DDR4服务器内存插槽就能使用,无需大幅度改变现有的硬件架构。

三星表示:已经有厂商使用AXDIMM内存在客户的服务器上进行测试,在特定的AI应用中,性能提升1.8倍,同时并降低超过40%的功耗。考虑内存很快会迭代到DDR5,三星应该会快速跟进,让这项技术会在不久的将来推向市场。
三星的PIM技术不仅局限于高端的领域,它也可以转向贴近消费者的普通产品,比如笔记本电脑、平板电脑甚至手机。三星已经计划在LPDDR5内存中引入PIM技术,只是目前仍处于早期阶段。在LPDDR5-PIM内存(6400MHz)的模拟测试中,语音识别工作负载的性能提高2.3倍,基于转换器的翻译性能提高1.8倍,GPT-2文本生成能力提高2.4倍,同时功耗降低60%以上。

三星今年发布业界首款CXL内存模块,基于ComputeExpressLink标准的新型存储产品,或许未来也会引入PIM技术。随着AI技术的兴起,PIM技术或许比普通人表面看来更能改变现有的游戏规则,未来GPU使用的显存协助处理一些工作负载,以提升性能并降低功耗是有可能的。
虽然三星的PIM技术进展迅速,能够实现与标准的内存配合使用,但由于没有获得JEDEC的认证,PIM技术被广泛使用仍存在障碍。三星希望PIM规范可以标准化,进一步扩展内存产品的组合,比如加入到HBM3标准规范里。