GPU现在缺货又涨价，瓶颈其实是...

对应英伟达、AMD的GPU自然就变得相当紧俏了，紧俏到国内H800、A800价格开始飙升——当然和美国可能再度收紧技术控制的消息面有关；紧俏到连OpenAI都说近期GPU用量成为发展瓶颈；甚至紧俏到国外已经有AI技术公司开始买游戏显卡来获得算力；紧俏到国外媒体担忧这会不会引发新一波的游戏显卡涨价热潮...SgHesmc

据说英伟达H100到明年Q1之前，都将处于售罄状态，只不过英伟达已经打算开足马力提高供货能力了：每季度H100新增40万张出货量。这么一说，市场还真可谓东边太阳西边雨啊——同为尖端制造工艺，手机、PC市场又是何等模样。但大概也正是手机、PC当前的寥落，才让英伟达有机会在H100这样的HPC大芯片立马增加供货。SgHesmc

SgHesmc

此前我们就报道过，受到行业下行期持续，及消费电子市场颓势的影响，台积电N5工艺的产能利用率已经跌到了70%以下。和N5同代的4nm工艺，包括英伟达Hopper架构GPU所用的4N工艺，也在其中。这其实也某种程度缓解了了AI大芯片供不上货的尴尬。但问题是，作为一颗完整的芯片，乃至完整的加速卡，像H100这样的紧俏货，供应链的瓶颈可能并不在前道fab制造部分。SgHesmc

SemiAnalysis最近撰文推测了当前数据中心显卡供不应求的瓶颈所在，结合他们的分析，我们来谈谈这条供应链的现状。SgHesmc

HBM内存与先进封装

先谈一个基础事实，对于数据中心GPU而言，显卡或加速卡中间的那颗芯片——封装在一起的除了中央主要做计算的die——也就是GPU最精华的部分，这颗die的四周通常还围绕着存储die，也就是显卡的内存部分。SgHesmc

对大部分图形显卡来说，内存更多会选用GDDR，GDDR颗粒其实不会和计算die封装在同一颗芯片上——比如以英伟达GeForce RTX 4090显卡为例，能很明确看到中央GPU芯片周围围绕的GDDR内存，和GPU die离得还比较远。SgHesmc

但数据中心HPC/AI显卡的带宽需求明显增大——尤其大模型上马以后，这类GPU就会采用规格更高的HBM（High Bandwidth Memory）内存。HBM通过先进封装的方式，与计算die封装在一颗芯片上，比如下图这样（注意彩色die周围的那6颗黑色HBM）。SgHesmc

SgHesmc

前两年我们还特别撰文探讨过HBM——这种内存最早是AMD应用到GPU上，但很显然现在主要的用量都在英伟达这边。AMD早在游戏显卡上就尝试过HBM，而英伟达则是在2016年的Tesla架构数据中心GPU上开始采用HBM内存。HBM本身是一种将DRAM die在垂直方向叠起来的高带宽内存，现在常见的HBM会叠8层；最新的一批加速卡可能会叠至多12层die，比如AMD的MI300X。SgHesmc

HBM通过大量增加pin数达成了1024bit位宽，相比内存中比较常见的DDR提升了16倍，带宽自然不在一个量级——现在最先进的HBM3标称的带宽甚至已经达到了1075GB/s，I/O速度8.4Gbps；与此同时每bit数据传输消耗能量显著低于DDR规格，这和数据通路长度也有一定关系——也就涉及到HBM常规的封装方式了。SgHesmc

SgHesmc

HBM内存通过2.5D封装的方式，和GPU计算die放在同一颗芯片上。有关2.5D封装，此前好些文章都详细谈过了。一般当代数据中心GPU，除了底下的封装基板之外，会有一层硅中介（silicon interposer），HBM die和GPU的计算die都放在硅中介上面，然后两片die通过硅中介来达成互联。这是现在用HBM内存的GPU一般都会选择的先进封装方式。SgHesmc

如前文所述，GPU的计算die所需的fab前道尖端制造工艺，因为手机、PC空余了不少产能，所以逻辑计算die的制造并不会成为产能瓶颈，那么瓶颈会不会在HBM内存上呢？SgHesmc

现在造HBM颗粒的主要市场玩家有三个，分别是SK海力士（SK Hynix）、三星、美光。SemiAnalysis提到，SK海力士是这一市场的最大赢家——这家公司2022年6月开始生产HBM3，是目前唯一能够量产HBM3的企业，超过95%的市场份额——也是绝大部分英伟达H100产品的HBM内存供应来源。AMD MI300X和接下来的英伟达H100 refresh都会用SK海力士的12层24GB HBM3内存。SgHesmc

三星此前发布消息称，其HBM3内存产品会在2023年下半年出货。虽然三星在HBM产品上的步伐走得明显不如SK海力士那么快，但三星在这一市场的投入也相当巨大，要从SK海力士的手中抢夺市场的信心也相当充足。另外，三星路线图显示，他们还准备在HBM4之上就逻辑外围引入FinFET结构器件，这也是其相较另外两家对手的优势项。SgHesmc

美光相比另外两家，步子走得明显比较慢。主要原因是美光前期在HMC技术上投入不少，这原本是HBM的有力竞争技术，无奈受制于生态和某些技术问题，HBM最终成为毫无疑问的行业标准。美光转向HBM之时，就已经落后于SK海力士和三星了。SemiAnalysis消息称，美光目前仍然卡在HBM2E上。但美光在最近的财报电话会议上说2024年就会在HBM3E技术上实现领先，并且Q3、Q4就为英伟达的下一代GPU提供HBM3E内存。SgHesmc

看起来HBM并不是这波数据中心显卡供货的瓶颈。SgHesmc

先进封装可能是真正的供货瓶颈

如果说HBM内存颗粒本身并非供货瓶颈，GPU计算die也不是，那么在成本大头方面，还有一项就是将两者封装到一起的先进封装技术了。至少SemiAnalysis认为，当前GPU供货的主要瓶颈就是台积电CoWoS封装。SgHesmc

只要采用HBM内存，除了会有少部分高算力HPC加速芯片采用三星的2.5D封装方案，绝大部分都会用台积电CoWoS封装。某些networking、超算、FPGA芯片也会选择CoWoS封装，但CoWoS的需求大头基本都是AI芯片。国内典型用了CoWoS技术的如壁仞GPU芯片BR100。SgHesmc

可以说，CoWoS、HBM某种程度上已经成为主要面向AI的技术。也正因如此，CoWoS不像别的技术那样，可以从其他类型或应用的芯片上转移过来，实际上CoWoS的产能今年Q1就已经占得很满。在GPU需求量爆发之际，供应链也变得因此跟不上GPU供给。三星、Intel，以及个别OSAT封测厂——典型如日月光其实也掌握2.5D封装技术，但就AI芯片市场，台积电CoWoS是绝对主流。SgHesmc

此前台积电表示已经有客户致电提出后道封装产能扩张需求，尤其是CoWoS封装，台积电称正在做这方面的评估。只不过当时台积电应该并未预期AI需求来得这么快。今年6月，台积电宣布开启先进后道fab 6工厂，其洁净间面积能够达成3D Fabric产能每年100万片wafer。当然这些产能并不都是给CoWoS的，还包括扇出型封装、3D堆叠等。SgHesmc

值得一提的是，台积电wafer level fan-out晶圆级扇出型封装现阶段的产能利用率是不足的，很显然是因为手机AP SoC的需求量低了，毕竟手机芯片是扇出型封装的主场。扇出型封装的某些工艺步骤和CoWoS是相似的，比如说沉积、电镀、RDL成型等。那么扇出型封装的部分产能可以分配给CoWoS。SgHesmc

当然CoWoS技术其实有好几种不同的类型，我们日常说的最多的用硅中介的方案是CoWoS-S；另外还有不用硅中介，而采用RDL重分布层、成本更低的CoWoS-R，以及类似于Intel EMIB硅桥方案的CoWoS-L。这些以前我们都分析过，这些就不细谈了。SgHesmc

SgHesmc

来源：SemiAnalysisSgHesmc

SemiAnalysis给出了一张当前台积电CoWoS客户产能分布图——有关这张图更详细的分析，可以移步SemiAnalysis的原文。目前CoWoS客户大头毫无疑问是英伟达，过去好几年都是这样——随着H100的持续扩产，未来这种局面也不会变。预计到2024年下半年，英伟达的下一代GPU封装尺寸可能会达到H100的两倍还多，则对封装也就提出了更高的要求。SgHesmc

据说英伟达有想过在封装方面采用双供应商的策略，但三星的先进封装技术方案和产能都让英伟达不够满意；Amkor则无法提供完整的端到端2.5D工艺技术——也就是说一整套流程是需要其他参与者打配合的——不过我们此前也谈过，这可能是传统OSAT于先进封装时代的出路。SgHesmc

要知道英伟达过去就fab前道制造始终保持着多供应商的思路，避免过度依赖。但现如今暂时只能主要依靠台积电，即便未来这种局面可能会发生变化。SgHesmc

台积电CoWoS的第二号大客户是博通——当然了，主要需求其实是博通深度参与的谷歌TPU芯片，尤其TPU v5从今年Q2开始起量——加上谷歌现如今不仅在传统业务上有需求，还期望在生成式AI上能够赶上OpenAI；博通自己也有networking芯片方面的一些需求，另外Meta的设计业务也会带来一些量。SgHesmc

另外的一些CoWoS客户依次还包括了Marvell、AMD与赛灵思、Alchip、微软、平头哥、思科等。其中实则涉及到这些芯片设计公司的下游客户，比如亚马逊Trainium等。SgHesmc

SemiAnalysis并未在分析中指明数据中心GPU瓶颈若在CoWoS封装上，具体表现在怎样的数量级上——大概是基于现有市场需求量，及台积电可提供的CoWoS产能做出的。SgHesmc

我们认为，这个推测也是完全合理的。前不久的慕展上，我们走访了多家先进封装设备供应商，有厂商发言人明确告诉我们，台积电作为半导体制造的前道fab角色主力，虽然也在做先进封装——且先进封装亦的确为未来市场方向；但从利润率的角度来看，后道封装业务是在拖后腿的，这使得台积电在先进封装技术的扩产上显得意兴阑珊。SgHesmc

所以台积电谈到要将这部分产能转移给OSAT，缓解产能问题，实际可能是从营收的角度所做的权衡。此前我们分析台积电Q1季报时，就提过，2022年台积电营收占比中7%来自先进封装；预计到2023年，这个值仍然保持在6%-7%。当然这和扇出型封装营收下降可能有关，但也可能表明了台积电在封装技术上做扩产的保守选择。SgHesmc

接下来几个月，观察英伟达数据中心GPU的供货情况，及出货量变化，可进一步明确台积电这方面的思路和发展策略。SgHesmc