伴随生成式AI市场的不断扩大,其对快速、强大的计算处理器,以及海量数据存储,提供了更高的要求。
受通胀压力和宏观经济下行的双重影响,自2022年开始全球云计算市场增速出现下降,但长期来看其需求依旧稳固。PD5esmc
Gartner数据显示,尽管以 IaaS、PaaS、SaaS 为代表的全球云计算市场在2022年规模约接近5000亿美元,增速为19%,仍较2021年32.5%的高速增长回落明显,但对比全球整体经济仅3.4%的增长,这一增速还是较为可观。该机构还预测,在大模型等新算力需求刺激下,全球云计算需求仍将长期保持稳定增长,到 2026年其市场规模将突破万亿美元。PD5esmc
作为云计算的基础,数据中心不可或缺。当云计算高速发展时,数据中心应用规模也会随之扩张。PD5esmc
IDC数据显示,2022年全球服务器出货量高达1500万台,销售额超过1200亿美元,同比分别增长 12%和 22.5%。同期,全球 AI 服务器市场规模同比增长17.3%,超过180亿美元。随着训练数据规模和模型复杂度暴增,全球AI服务器出货占比正在大幅提升,随之而来的AI芯片需求也在大增。PD5esmc
1月底,传出来自英伟达、AMD 等客户的“爆款急单”持续增加,台积电不仅加速推进CoWoS 等先进封装扩产计划,且还上调产能目标。据悉,此时英伟达的订单占比接近50%,其明星产品H100的交付周期仍长达10个月。PD5esmc
不过,随着今年台积电CoWoS产能逐季得到释放,以及英特尔将于第二季度加入先进封装(月产能约5千片)行列,英伟达将向广达、超微(Supermicro)、华硕、技嘉、华擎等厂商提供更多 AI GPU产品,这将推动AI服务器出货量进一步增长。据统计,中国台湾服务器出货量占全球总市场的80%以上,而该地AI服务器的代工更是占据全球90%的市场份额。PD5esmc
据资策会产业情报研究所(MIC)预测,全球AI服务器出货量占比将从2023年12.4%增至2027年20.9%。其中,AI服务器出货量将在2024达到194.2万台、2025年达236.4万台,到2027年进一步增至320.6万台,2022年至2027年间的复合成长率为24.7%。PD5esmc
此外,伴随着AI服务器比例的快速增长,头部处理器厂商将推出支持PCIe Gen5的第二代服务器CPU,而性能更优的 PCIe Gen5 SSD产品也将随即在下半年问世和采用。PD5esmc
随着越来越多的行业持续加大对生成式AI技术的投入,预计到2032年其市场规模将超过1,100亿美元,2022年到2032年间年复合增长率逾27%。 伴随生成式AI市场的不断扩大,其对快速、强大的计算处理器,以及海量数据存储,提供了更高的要求。PD5esmc
PD5esmc
图1:2022-2032年全球AI市场规模预测PD5esmc
当前,大型语言模型(LLM)所使用的数据量和参数规模正呈“指数级”增长。以GPT为例,GPT-3 模型参数拥有1750亿个,单次训练所需总算力约3640 PF-days(即以每秒一千万亿次计算,运行时间为3640天)。作为GPT-3的升级版——GPT-4参数数量进一步扩大至1.8万亿个,是GPT-3 规模的10倍,训练算力需求达GPT-3的68倍,要在2.5 万个A100上训练约90-100天(MFU约32%到36%)。PD5esmc
2020年5月,英伟达推出了新一代GPU芯片,英伟达CEO黄仁勋介绍道:“A100 AI训练和推理性能较前代V100提升了20倍。”而作为下一代继任者,H100芯片于2022年初发布,当年9月量产。H100较A100获得了大量的技术更新和升级,所有设计均达到新的性能和效率水平。PD5esmc
以700亿参数的LLaMA 2大模型为例,H200的推理速度几乎较 H100提升一倍,能耗则降低一半。高带宽的内存芯片可为GPU提供更快的并行数据处理速度。产品参数显示,H200显存已由H100 80GB 飙升至141GB ,带宽从3.35TB/s增加至4.8TB/s 。其中,H200整体性能的提升的最大“功臣”就是HBM3e内存技术。PD5esmc
2013年,韩国存储厂商SK海力士首次推出HBM存储技术,该技术后续又衍生出HBM2、HBM2e和HBM3,带宽和 I/O 速度进一步提升。作为HBM3的下一代产品,SK海力士于2023年8月推出了HBM3e,其宣称单颗带宽可以达到1.15TB/s。按照计划,该厂商将于今年开始量产HBM3e。PD5esmc
在SK海力士布局HBM3e后,其他存储大厂陆续跟进,如三星或已在去年第4季度向北美客户供货;美光表示将在今年实现追赶,并有望在今年下半年向英伟达下一代GPU产品供货。PD5esmc
据Gartner预测,2023年全球HBM存储市场规模约为20亿美元,预计到2025年将暴增至近50亿美元,增长率将近150%。从应用需求来看,目前对HBM用量最多是AI GPU产品,而受益于推理模型应用的推动,FPGA对HBM的用量或在2025年后出现显著增长。PD5esmc
IDC中国研究经理杨昀煦表示:“目前自然语言生成、图像生成已经是PB级数据量,正在落地的音、视频生成达到EB级别。” 她指出,当AIGC应用深入到行业场景后,例如,制造业的搬运、喷涂等产线;医疗行业的精准手术操作、航空航天的卫星维护以及智慧城市中的交通管理等机器人控制工作场景中后,数据量将急速上升,达到ZB级,且从训练数据的收集、预处理、写入读出,到稳定训练集、兼顾企业数据安全以及最后训练结果数据形成资源池,对推理结果进行使用,这整套流程下来对存储技术的多维度能力提出挑战。PD5esmc
也正因AI训练和推理需求的持续火热,不仅推动了英伟达产品的供不应求,更拉高其业绩大幅增长。PD5esmc
在2024财年三季报中,英伟达营收增长206%至181亿美元;净利润暴增1259%至92亿美元。 作为英伟达业务的核心,其数据中心业务同比增长279%至145亿美元。据该公司管理层预计,其四季度收入将较三季度增长34%,达到200亿美元。在核心GPU产品销量上,据Omdia口径统计,其在2023年第三季共售出近 50万块A100和 H100 GPU,而基于 H100的服务器的交付周期已延长至36到52周。该机构认为,H100 最大买家为Meta和微软,两家公司都采购了15万块H100,采购量远超谷歌、亚马逊、甲骨文和腾讯。PD5esmc
从营收规模来看,英伟达虽尚不及英特尔,但得益于在火热的AI芯片市场的强势地位,该公司市值持续上扬。2023年该公司股价上涨了约240%,而截至2024年1月30日,其最新市值超过1.5万亿美元,远超风头正旺的芯片代工龙头台积电和老牌芯片厂商博通和英特尔。PD5esmc
PD5esmc
图2:各半导体公司市值(截至2024年1月30日)PD5esmc
凭借在图形芯片领域数十年来的积累,英伟达坐享丰厚的行业红利,这也让其他芯片大厂眼红。见此,AMD等厂商开始涉足AI芯片领地。PD5esmc
2023年12月,AMD推出了用于大模型训练和推理以及高性能计算 AI芯片MI300XGPU和MI300AAPU。其中,AMD的最新AI芯片InstinctMI300X,已获得微软和Meta两家巨头的青睐。据AMD CEO苏姿丰介绍,InstinctMI300X性能可与英伟达H100HGX相媲美。而来自中国的电信设备巨头华为,则于2023年9月发布了两款采用自家达芬奇架构的人工智能处理器——昇腾310和910,前者用于推理和后者用于训练。PD5esmc
而作为H100 的升级款—H200已在2023年全球超算大会(11月中旬)发布,并有望于今年第二季度推出,而英伟达最受关注的B100 或有望于3月的GTC 大会上亮相,预计9、10 月量产入市。据统计,2022年全球AI芯片市场规模约168.6亿美元,其中英伟达市场份额超过80%。同时在全球AI服务器加速芯片市场,该厂商市占比超过95%。PD5esmc
此外,另据OpenAl 测算,自 2012年以来,世界头部AI模型训练算力需求每3至4个月就翻一番,而每年头部训练模型所需算力增幅高达10倍。但摩尔定律的规律却是,每隔18至24个月芯片计算性能大约只翻一番。可见,芯片的计算性能增速是滞后的,而算力需求的暴增将推动更多芯片的销量。长期来看,随着更多厂商AI芯片的入市,市场竞争亦将更为激烈。PD5esmc
尽管以大模型为主的生成式AI技术的发展,为人们的生产生活提升了效率和便利性,但在其应用背后却隐藏着高昂的部署成本。PD5esmc
据国盛证券报告估算,GPT-3单次训练成本约为140万美元,对于一些更大的LLM训练成本在200万到1200万美元之间。以ChatGPT在2023年1月的独立访客平均数1300万计算,其对应芯片需求为3万多片英伟达A100 GPU,初始投入成本约8亿美元,日均耗电费用约5万美元。正因如此,自2019年以来,OpenAI获得了来自微软的130亿美元的巨额投资(持股49%)。PD5esmc
事实上,ChatGPT 的模型计算本质上是借助微软 IDC (互联网数据中心)资源——在云端完成计算。可见,作为承接AI计算任务的重要算力基础设施的IDC,其成本和规模并非多数企业所能承受。PD5esmc
不过,随着生成式AI的快速发展和迭代,更为个性化和低成本的计算需求正在形成。据Alphabet董事长John Hennessy评估,每一次基于生成式 AI 的网络搜索查询(query)其成本是传统搜索的10倍(微调可降低成本)。所以,部署在云端(侧)和终端(侧)的混合AI才是AI的未来。混合AI将支持生成式 AI服务商(含开发者和提供商)利用边缘终端的计算能力降低成本。PD5esmc
据杨昀煦介绍,随着数据生成的速度和复杂性不断增加,大数据的处理和分析需要更强大的计算能力的同时,更需要高效的数据处理方法;边缘计算则将数据处理和计算放在更靠近物或者数据源头的一侧,需要网、算、存更集成的平台来满足要求;云计算对比来讲则更集中化、规模化,但对业务和数据灵活性要求更高。结合行业来看,三种技术在不同行业的不同应用场景中被要求发挥不同的性能特征,不同的工作场景都对存储技术带来不同的要求。她指出,大数据环境的海量非结构化数据存储、边缘计算领域对数据传输和处理效率上的要求、以及云计算对数据存储安全以及可扩展性提出要求。PD5esmc
PD5esmc
图3:生成式AI生态链使应用数量激增PD5esmc
与仅在云端进行处理不同,混合 AI 架构可根据不同计算需求,在云端和边缘终端间分配并协调AI工作负载。通过云端和边缘终端协作,可实现更强大、更高效且高度优化的Al。PD5esmc
如今,随着个人计算需求的落地,被定义为个人AI助理的AI PC将成为AI普惠的首选终端。因此,OEM厂商将其视作新商机,并开始进行商业部署,比如联想AI PC将在2024年率先搭载个人大模型,“AI与PC结合将形成‘ 算力平台+个人大模型+AI应用 ’的新型混合体”。PD5esmc
而随着AI应用落地和更新周期的复苏,联想预计今年全球PC出货量或实现5%的增幅,戴尔(Dell)则预计全年增速为3%-4%。此外,全球最大处理器厂商英特尔乐观宣称,到2025 年将实现出货高达1亿台PC的目标,几乎占PC TAM(总目标市场)总量的30%。PD5esmc
此外,基于生成式AI的设备开始向手机行业渗透。据Counterpoint Research初步预测, 2024年AI智能手机出货量将超过1亿部。到2027年, 此类手机出货量将达5.22亿部,复合年增长率为83%。该机构将“生成式AI手机”定义为,能够生成创建,诸如艺术作品、音乐、视频等原创内容,且可在本地运行AI模型的智能手机。PD5esmc
在移动设备处理器领域,高通和联发科亦都所布局。其中,高通在报告中指出,“骁龙作为提升顶级 Android 体验的领先移动平台,其中就包含已出货的20 多亿个具备AI能力的处理器”。另外,该公司还引用第三方数据指出,“公司将以超过 40%的市场份额保持 AI 智能手机处理器出货量的领导地位,远超苹果(25%)和联发科(24%)等其他公司。”PD5esmc
随着强大性能的生成式AI模型不断缩小,手机端侧的处理能力将持续提升,如在今年1月8日,OPPO发布了首个端侧应用70亿参数大语言模型手机。PD5esmc
此前,高通在报告中表示,“参数超过10亿的AI 模型能在手机上运行,且性能和精确度水平达到与云端相似的水平。不久的将来,拥有100亿或更高参数的模型将能够在终端上运行。”PD5esmc
PD5esmc
表1:中国手机厂商在大语言模型(LLM)的部署PD5esmc
杨昀煦称,在各个行业的大规模的、复杂的数据处理需求的场景里,“智能化”应用都能发挥很好的作用,帮助快速、科学、有效的提供决策辅助,如在交通的调度场景、制造的工业设计、电力行业的智能电网管理、金融行业的客户分析、风险分析、水利行业的水位、流量检测等领域。PD5esmc
随着工业“智能化改造数字化转型”加速落地,智能制造进程的持续推进,以及融入AI技术的各类多样化消费需求的不断涌现,正在成为推动算力投资的新引擎。PD5esmc
以往中国计算产业的大量核心芯片和重要器件主要依赖进口,但是近年来,中国本土企业依托超大规模市场优势,形成覆盖全产业链的生态,厚积薄发,涌现出一批先进计算技术成果。PD5esmc
比如,华为推出了推理芯片昇腾310和训练芯片910,其中昇腾910B AI芯片已被百度采购,用以替代英伟达同类产品。此外,壁仞科技还推出了首款用GPU芯片BR100;以及天数智芯(智铠100)、沐曦(N100)等发布AI 推理芯片。与此同时,专注于NAND闪存的长江存储(YMTC)和专注于 DRAM 存储的长鑫存储(CXMT)都将受益于AI热门的应用需求。PD5esmc
尖端技术突破,并不只能简单被视作产业升级,最重要的是,“独立自主”更关乎国家命运与安全。PD5esmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
国际电子商情24日讯 被看作“晴雨表”的模拟芯片巨头德州仪器 (Texas Instruments Inc.) 周二公布的第二季度利润超过了分析师的预期,这表明库存过剩的局面即将结束,也让投资者确信模拟芯片市场需求正在复苏,这对整个行业来说是个好兆头。
国际电子商情23日讯 据外媒报道,芯片制造业务面临巨额亏损,迫使英特尔暂停在法国和意大利的芯片厂投资计划。
AI和生成式AI技术发展,不只是带动了AI数字芯片的大热,现在各类集成电路与电子元器件相关市场参与者都在谈AI,包括感知、存储、通信、电源等等。
国际电子商情讯 最近加拿大联邦政府通过宣布资金支持,直接和间接地加大了对加拿大半导体产业的支持,但如果加拿大的芯片行业要扩大规模,还有很多准备工作要做……
国际电子商情19日讯 据外媒Tom's hardware报道,为减少对亚洲的依赖并在美洲封装美国芯片,美国政府启动了一项提升拉丁美洲芯片封装能力的计划。
国际电子商情18日讯 据SEMI旗下电子系统设计(ESD)联盟在其最新的电子设计市场数据 (EDMD)报告指出,2024年一季度电子系统设计(主要包括EDA及半导体IP)市场营收45.216 亿美元,相比去年同期的39.511 亿美元增长了 14.4%。
国际电子商情18日讯 美国商务部日前与全球第三大半导体硅晶圆供应商环球晶圆公司达成初步协议,将根据《芯片法案》提供高达4亿美元的直接资助,以帮助关键半导体晶圆的生产。
国际电子商情16日讯 市调机构Counterpoint Research最新数据报告指出,2024年第二季度苹果以16%的市场份额排名全球智能手机第二名,第一名是三星,占20%的市场份额。其次是小米(14%)、vivo(8%)、OPPO(8%)。
国际电子商情16日讯 韩国科学技术信息通信部日前宣布,2025年国家研发项目预算案在第九次国家科学技术咨询会议上获得通过,总额为24.8万亿韩元(约179.5亿美元),比2024年的21.9万亿韩元增加了13.2%。
2020年10月,英伟达将基于Mellanox的智能网卡(SmartNIC)方案命名为数据处理单元(Data Processing Units, DPU),并将CPU、GPU、DPU称之为组成“未来计算的三大支柱”。
国际电子商情15日讯 数据显示,今年上半年韩国信息及通信技术(ICT)领域的出口额创下历年同期第二高纪录。其中,存储芯片成为韩国半导体出口增长的主要驱动力。
2024年慕尼黑上海展、VisionChina机器视觉展在7月10日拉下帷幕,在展会期间《国际电子商情》小编拍摄了德州仪器、安森美、意法半导体、Teledyne DALSA等厂商演示方案的视频,下面哪些是你感兴趣的方案?
在各大半导体厂商抢攻AI商机之际,芯片产能却赶不上需求。
TrendForce集邦咨询预估AI服务器第2季出货量将季增近20%,全年出货量上修至167万台,年增率达41.5%。
根据TrendForce集邦咨询最新存储器产业分析报告,受惠于位元需求成长、供需结构改善拉升价格,加上HBM(高带宽内
根据TrendForce集邦咨询最新存储器产业分析报告,受惠于位元需求成长、供需结构改善拉升价格,加上HBM(高带宽内
近日,中国科学院上海微系统与信息技术研究所宋志棠、雷宇研究团队,在三维相变存储器(3D PCM)亚阈值读取电路、高
7月21日,TCL电子公布2024年上半年全球出货量数据,TCL电子表示,得益于公司在全球市场的积极开拓和品牌影响力的
据美国趣味科学网站16日报道,来自美国麻省理工学院、美国陆军作战能力发展司令部(DEVCOM)陆军研究实验室和加拿
全球LED市场复苏,车用照明与显示、照明、LED显示屏及不可见光LED等市场需求有机会逐步回温,亿光下半年车用及
三星最新推出的Galaxy Watch 7,继续重新定义可穿戴技术的极限。这款最新型号承袭了其前身产品的成功之处,同时
2024年第二季度,在印度大选、季节性需求低迷以及部分地区极端天气等各种因素的影响下,印度智能手机市场微增1%
根据TechInsights无线智能手机战略(WSS)的最新研究,2024年Q1,拉丁美洲智能手机出货量强劲增长,同比增长21%。
Chiplet的出现标志着半导体设计和生产领域正在经历一场深刻的变革,尤其在设计成本持续攀升的背景下。
“芯”聚正当时!第二十一届中国国际半导体博览会(IC CHINA 2024)正式定档,将于2024年11月18-20日在北京·国家
7月25日,由全球领先的专业电子机构媒体AspenCore与深圳市新一代信息产业通信集群联合主办的【2024国际AIoT生
2024年7月17日-19日,国内专业的电子元器件混合分销商凯新达科技(Kaxindakeji)应邀参加2024年中国(西部)电子信息
在7月12日下午的“芯片分销及供应链管理研讨会”分论坛上,芯片分销及供应链专家共聚一堂,共谋行业发展大计。
7月8日-10日,2024慕尼黑上海电子展(elec-tronica China)于上海新国际博览中心盛大开展,凯新达科技被邀重磅亮
2024年7月8日到10日 ,浙豪半导体(杭州)有限公司作为小华半导体的优秀合作伙伴,在2024慕尼黑上海电子展上展出了
7月25日,由全球领先的专业电子机构媒体AspenCore与深圳市新一代信息产业通信集群联合主办的【2024国际AIoT生
近日,2024 Matter 中国区开发者大会在广州隆重召开。
7月25日,由全球领先的专业电子机构媒体AspenCore与深圳市新一代信息产业通信集群联合主办的【2024国际AIoT生
7月13日,以“共筑先进封装新生态,引领路径创新大发展”为主题的第十六届集成电路封测产业链创新发展论坛(CIPA
新任副总裁将推动亚太地区的增长和创新。
以碳化硅和氮化镓为代表的宽禁带半导体已成为绿色能源产业发展的重要推动力。
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈