在英伟达一步步站稳万亿市值的道路上,少不了两项关键技术支持——台积电主导的CoWoS高端封装和头部存储厂持续迭代的HBM。
英伟达近日发布的新一代GH200 Grace Hopper超级芯片中,就指出将搭载282GB最新HBM3e内存技术的单服务器。预计将在2024年第二季度交付基于该平台的系统。
HBM也成为力挽存储厂商持续下行的一个关键词。数个季度的持续低迷下,头部存储厂商相继展现出二季度收入环比增长趋势,其中以SK海力士的表现最为亮眼,背后就离不开由HBM拉动对DRAM运存的需求提升。
伴随生成式AI浪潮,在存储市场一直低三星一头的SK海力士一跃而起,占据全球HBM市场50%的极高份额。
HBM的重要性在于,GPU对大规模并行计算的速率要求在持续提升,但计算过程本身需要算力、存力、运力三者同时匹配,通常存储的读取速度和计算的处理速度之间存在一定时间差,HBM就是为提高传输速率和存储容量应运而生的重要技术路线。
但目前来看,这似乎只成为巨头之间的“游戏”。群智咨询执行副总经理兼首席分析师陈军对21世纪经济报道记者分析,HBM用于高端GPU和服务器的DRAM,当前主要由三星、SK海力士、美光三家供应产品。由于HBM价格相对较高,服务器市场普遍还是以DDR4和DDR5为主,HBM在整体DRAM中的占比仍然很低。
那么HBM将为存储市场带来什么改变?没有这项技术的存储公司会落后吗?
HBM逆势
由生成式AI引发对HBM及相关高传输能力存储技术的需求,HBM成为存储巨头在下行行情中对业绩的重要扭转力量,这也是近期业绩会上的高频词。
据CFM闪存市场分析,不同于一季度的疲软,可以看到在二季度存储市场明显有所回暖,打破了自2022年二季度以来的连续下滑,重新恢复增长。整体看,二季度全球存储市场规模198.03亿美元,环比增长9%,但不足去年同期的一半,同比下跌54%。
其中SK海力士的环比成长性明显。据CFM统计,二季度全球NAND Flash原厂的营收平均季度环比增速为5%,但SK海力士增长26.4%、美光增速14.5%,二者是增速最快的头部公司;全球DRAM原厂营收平均季度环比增长11.9%,其中SK海力士增速48.9%,是唯一增速超过双位数的头部厂商。
SK海力士在二季度业绩会上曾表示,季度内AI服务器对DRAM的需求大幅增长,公司DDR5和HBM的出货量增长了一倍以上。预计到三季度,AI服务器的需求将持续增长,尤其是高密度DDR模块和HBM,以及移动客户的高需求带动。
三星在二季度业绩会上曾表示,生成式AI市场应用将带来HBM等支持大规模数据处理的内存产品需求快速增长,公司接到了大量客户需求。预计2023年和2024年HBM的需求可能出现陡峭增长。公司曾经对主要客户独供HBM2,并在后续开展HBM2E业务。
美光在三季度财年业绩会上则直指,AI服务器的DRAM容量是普通服务器的6倍到8倍,NAND容量是普通服务器的3倍。英伟达DGX GH200所需的DRAM容量是普通服务器的数百倍。公司HBM3产品预计在2024财年实现一定收入。
这显示出,在耐用消费品销售承压的背景下,与当下高算力相匹配的高端存储市场需求却很旺盛。
“随着AI和HPC市场的牵引和快速发展,高性能和高容量DRAM技术的需求将持续增加以支持相应需求,目前HBM是其中被证明过的技术路线。具备该技术能力的公司,将在市场上获得更好份额,同时能进一步提高竞争力和盈利能力。”Counterpoint Research高级分析师Ashwath Rao告诉21世纪经济报道记者,HBM技术的原理是通过将DRAM芯片垂直堆叠,并通过TSV(穿过硅孔)和微凸起相互连接。由于HBM是垂直堆叠,其可以每秒提供TB级别数据,这是人工智能和高性能计算应用程序所需的显著处理能力。
他进一步指出,虽然HBM是一个利基市场,但由于AI技术的远景,其能够很好满足AIGC对存储器的需求,各公司都在探索技术能力提升,包括替代性封装技术、TSV技术,以减少凹凸间距,应用不同的插入方式和混合连接方法。当在选择存储产品时,根据不同的场景应用需求,而在带宽、功耗、成本和可靠性等方面进行平衡。
调研机构TrendForce集邦咨询也指出,目前高端AI服务器GPU搭载HBM已成主流,预估2023年全球HBM需求量将年增近六成,来到2.9亿GB ,2024年将再成长三成。2023年HBM将处于供不应求态势,到2024年供需比有望改善。
不过多名业内人士都对记者表示,HBM在整体存储市场占比较低,目前还不是普及性应用的产品。这也解释了为什么目前似乎竞争都局限在全球三家厂商之间。
迭代赛跑
回顾存储产业的竞争格局,历史上三星在DRAM和NAND Flash两类存储市场,一直占据原厂中超过1/3的市场份额,位居行业第一。只是目前细分到HBM领域来看,SK海力士反而占据更高份额。
据集邦咨询预计,2022年SK海力士占据HBM市场50%的份额,三星占比40%,美光占比10%,三者成为HBM领域的垄断性三巨头。
这某种程度上和SK海力士的率先入局有关。
早在2014年,SK海力士与AMD联合开发了全球首款硅通孔HBM产品,这也是该技术的第一代产品,被称为HBM1。两家公司还联合开发了高带宽三维堆叠存储器技术和相关产品。官方介绍,HBM1的带宽高于DDR4和GDDR5产品,同时以较小的外形尺寸消耗较低的功率,更能满足图形处理单元(GPU)等带宽需求较高的处理器。
此后SK海力士和三星都在进行相关能力迭代。只是受制于应用场景与成本等综合因素平衡考量、技术路线与产业链合作方式也有不同,直到生成式AI浪潮兴起、英伟达GPU需求紧俏,才真正迎来今天对HBM的高关注度。
相比之下,占据相对少份额的美光,则是由于早期的技术路线选择差异,较晚走向HBM领域,才在目前与前两家厂商之间形成一定份额差异。
那么HBM的核心门槛在哪里?陈军对21世纪经济报道记者表示,HBM在技术上需要解决内存颗粒堆叠以后与内存控制器互联问题,目前量产的HBM产品主要使用的制程节点是1y/1z等,虽然制程节点不算太高,但其需要下游GPU客户进行良好配合,其多达7000+的引脚数量也形成该工艺的较高壁垒。
因此与客户产品之间的配合沟通调试,如何更好与GPU、NPU这类芯片匹配,实现更大带宽和更好能效,才是HBM技术竞争的关键。
“英伟达在GPU领域处于绝对领先优势,前期开发阶段,英伟达在GPU上需要解决高带宽、低能耗的问题,于是和SK海力士合作开发了HBM存储,并且后续不断迭代完善,为SK海力士在这一领域的竞争优势打下基础。”他进一步分析。
三大原厂的HBM发展进度来看,集邦咨询分析,SK海力士、三星先从HBM3开发,代表产品为NVIDIA H100/H800以及AMD的MI300系列,两大韩国厂商预计于2024年第一季送样HBM3e;美光则选择跳过HBM3,直接开发HBM3e。
该机构指出,2023年HBM市场主流为HBM2e,包含NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片均以此规格设计。为顺应AI加速器芯片需求演进,各存储原厂计划于2024年推出新产品HBM3e,预期HBM3与HBM3e将成为明年市场主流。
谁主沉浮
在头部原厂在竞速HBM迭代的进程下,其他从业者似乎对这一趋势并没有很积极回应。在AI浪潮驱动下,未来HBM会成为影响存储市场竞争的关键要素吗?
多名存储业内人士都对21世纪经济报道记者表示,会关注这一技术的发展进程,但目前其仅限于部分细分市场有较高需求,从商业回报角度看,这似乎并不是能为大多数存储厂都能带来收益的机会型领域。
此外陈军告诉记者,“在HBM领域,除了本身的技术壁垒外,更多依赖于和下游客户的合作关系。长期来看,该领域仍将是海力士、三星占据主要市场。”
Ashwath Rao对记者分析,SK海力士、三星、美光三大核心存储厂商都在积极增加资本开支,以扩大他们在HBM领域的产品阵容,市场份额可能会形成三足鼎立的局面。目前市场领导者SK海力士和三星之间将进行积极竞争,任何时候都可能改变现有格局。
“存储厂商在正式发布产品之前,都会更聚焦于持续研发和改进这项技术。三星正扩大其HBM产品供应,同时在提高其封装技术能力,由此可以更好将HBM和GPU更好集成,以此满足AI的应用需求。”他进一步分析,三星将用其独特的封装能力和HBM技术提供给客户。三星也在聚焦于强化其2.5D/3D异构集成封装技术的开发,以作为系统性解决方案更好满足HPC和AI客户的应用需求,以此方式来试图增加其市场份额。“在未来,三星可以通过其在芯片制造和封装环节的能力,并把产品进一步扩展到汽车、5G和IoT领域应用。”
作为IDM大厂,三星一直在积极推进对先进工艺的迭代,也为AI相关技术需求做了储备。
三星在此前的业绩会上曾介绍过,其在全球率先量产的GAAFET工艺就是为实现AI芯片性能优化的先进工艺节点,计划于2025年实现2纳米GAA工艺量产。
集邦咨询指出,目前SK海力士HBM3产品领先其他原厂,是英伟达服务器GPU的主要供应商;三星则着重满足其他云端服务业者的订单。在客户加单下,2023-2024年这两家厂商的HBM市占率预估相当,合计将占HBM市场约95%份额。美光在今年专注开发HBM3e产品,相较前述两家韩厂大幅扩产的规划,预期今明两年美光的市占率会受排挤效应而略为下滑。 ?
“目前HBM产品占整体存储的出货量仍然非常小,长期来看,随着消费电子产品向AI化发展,对于高算力、高存储、低能耗将是主要诉求方向,鉴于此预计HBM也将成为未来存储厂商的技术发展方向。”陈军对记者表示,HBM属于近期火热的存算一体式产品,目前其主流的die为16Gb,层数是4-8层,未来die会升级到24Gb,层数往8-12层发展。
免责声明:该文章系本站转载,旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议,仅供读者参考。