为了搭建好的AI基础设施，英伟达也是蛮拼的

过去十年中，云计算以每年20%的增幅高速增长，并迅速发展成为一个万亿美元的产业。IDC预测称，到2025年，云将超过本地基础设施，成为65%的企业组织存储、管理和分析运营数据的主要方式。但与之前相比，企业更关注云计算带来的运营成本效益，已经迁移到云端的客户开始关注平台和软件服务。ALFesmc

DGX Cloud：随时随地将AI带给每家公司

NVIDIA在GTC 2023上描绘了为全球客户构建数据中心和AI基础设施的蓝图，并推出了全新的DGX 计算机, 搭载了8颗NVIDIA GPU。ALFesmc

其实早在2016年，NVIDIA创始人兼首席执行官黄仁勋先生就亲手向OpenAI交付了第一台NVIDIA DGX超级计算机。此后数年里，NVIDIA DGX从最初被用作AI技术的研究设备，逐步被企业扩展至数据优化和AI处理，据称财富前100强公司中约有半数采用了DGX。进入2023年后，随着ChatGPT的走红，部署像ChatGPT这样的大型语言模型(LLM)正在成为DGX越来越重要的一项工作。ALFesmc

而为了加快把DGX能力带给初创企业和其他各类企业，以助力其快速打造新产品和制定AI战略，NVIDIA最新发布了NVIDIA DGX Cloud。通过与微软Azure、Google Cloud和Oracle Cloud Infrastructure合作，“从浏览器上”即可实现将NVIDIA DGX AI超级计算机“带给每家公司”的愿景。这一模式也被称之为Training-as-a-Service，或者Model Making-as-a-Service。 ALFesmc

实际上，这并不是英伟达第一次公布DGX Cloud。此前在英伟达2022财年四季度财报发布时，黄仁勋先生就向外界透露说英伟达将与云服务厂商展开合作，让客户以使用网页浏览器的方式，就能通过NVIDIA DGX Cloud来使用DGX计算机，从而训练和部署大型语言模型或完成其他AI工作负载。ALFesmc

简单而言，DGX Cloud可提供 NVIDIA DGX AI超级计算专用集群，并配以NVIDIA AI Enterprise软件推动AI端到端开发和部署。每个企业都可以通过一个简单的网络浏览器访问自己的AI超级计算机，免除了购置、部署和管理本地基础设施的复杂性。同时，企业可按月租用DGX Cloud集群，以便能够快速、轻松地扩展大型多节点训练工作负载的开发，而无须等待需求量通常很大的加速计算资源。ALFesmc

目前，NVIDIA正在与领先的云服务商联合托管DGX Cloud基础设施，Oracle Cloud Infrastructure(OCI)将首当其冲，通过其OCI超级集群，提供专门构建的RDMA网络、裸金属计算以及高性能本地块存储，可扩展到超过32,000个GPU所组成的超级集群。微软Azure预计将在下个季度开始托管DGX Cloud，该服务将很快扩展到Google Cloud等。ALFesmc

赋能生成式AI

为了加速企业使用生成式AI的工作，NVIDIA发布的另一项重磅消息则是推出NVIDIA AI Foundations云服务系列，为需要构建、完善和运行自定义大型语言模型及生成式 AI的客户提供服务，他们通常使用专有数据进行训练并完成特定领域的任务。ALFesmc

AI Foundations服务包括三类：NVIDIA NeMo，用于构建自定义语言文本-文本转换生成模型；Picasso视觉语言模型制作服务，适用于想要构建使用授权或专有内容训练而成的自定义模型的客户；以及BioNeMo，助力2万亿美元规模的药物研发行业的研究人员。ALFesmc

NeMo和Picasso服务运行在可通过浏览器访问的NVIDIA DGX Cloud上。开发人员可以通过简单的应用编程接口(API)使用每项服务上提供的模型。一旦模型可以部署，企业就能够使用NVIDIA AI Foundations云服务大规模地运行推理工作负载。ALFesmc

每项云服务都包含六个要素：预训练模型、数据处理框架、矢量数据库和个性化服务、经过优化的推理引擎、各种API、以及NVIDIA专家提供的支持，可帮助企业针对其自定义用例调整模型。ALFesmc

从已公布的用户案例来看：ALFesmc

• Adobe正与NVIDIA共同开发新一代先进的生成式AI模型，侧重于将生成式AI深度集成到全球顶尖创作者和营销人员所使用的应用中。

• Shutterstock正在与NVIDIA一起训练一个生成式文本-3D转换基础模型，创作时间可从数小时缩短至数分钟。通过使用NVIDIA Picasso生成式AI云服务构建自定义模型，Shutterstock将帮助3D艺术家创建物体形状、帮助展开物体、生成纹理和材质，甚至为非3D内容创作者制作可直接用于各种应用和平台的完整3D模型。

• Getty Images正在与NVIDIA一起训练负责任的生成式文本-图像，以及文本-视频转换基础模型。这些模型将使用简单的文本提示创建图像和视频，并将在Getty Images完全授权的资产上进行训练。Getty Images将根据这些模型所产生的收入向艺术家支付版权费。

• 生物技术公司安进(Amgen)使用其专有的抗体专利数据对BioNeMo ESM模型架构进行了预训练和微调。该公司将在DGX Cloud上训练五个用于分子筛选和优化的自定义模型，所需要的时间从三个月缩短到了几周。

与此同时，加速生成式AI模型的快速部署也是NVIDIA关心的重点。为此，黄仁勋先生发布了用于AI视频、图像生成、大型语言模型部署和推荐器推理的推理平台，这些平台将NVIDIA的全套推理软件与最新的NVIDIA Ada、Hopper和Grace Hopper处理器相结合，包括同时在最近推出的NVIDIA L4 Tensor Core GPU和NVIDIA NVL GPU。ALFesmc

• 用于AI视频的NVIDIA L4可提供比CPU高出120倍的由AI支持的视频性能，同时提高99%的能效。

• 用于图像生成的NVIDIA L40针对图形以及AI赋能的2D视频和3D图像生成进行了优化。

• 用于大型语言模型部署的NVIDIA NVL是规模化部署ChatGPT等大型语言模型的理想选择。

• 用于推荐模型的NVIDIA Grace Hopper是图形推荐模型、矢量数据库和图形神经网络的理想选择。

ALFesmc

Google Cloud是首家支持L4 Tensor Core GPU的云服务提供商，该公司已推出新的G2虚拟机并在近日提供私人预览版。此外，谷歌还将L4 GPU集成到其Vertex AI模型商店中。资料显示，L4 GPU是一款适用于几乎所有工作负载的通用GPU，具有更加强大的AI视频功能，可提供比CPU高120倍的AI视频性能，同时能效提高了99%。ALFesmc

BlueField-3 DPU提升数据中心的性能、效率和安全性

据IDC统计，全球算力的需求每3.5个月就会翻一倍，远远超过了当前算力的增长速度。在此驱动下，全球计算、存储和网络基础设施也在发生根本转变，一些复杂的工作负载，在通用的CPU上不能很好的处理，为减轻CPU/GPU内核的负担，很多一级云服务提供商开始考虑如何在单芯片DPU上就可实现网络、存储、安全等关键任务的加速工作。ALFesmc

2020年10月，英伟达将基于Mellanox的SmartNIC技术推出 BlueField DPU（数据处理器），并将CPU、GPU、DPU称之为组成“未来计算的三大支柱”。作为面向数据中心的专用处理器，DPU新增了AI、安全、存储和网络等各种加速功能，能够对性能敏感且通用的基础设施工作负载进行加速，从而更好地支撑CPU、GPU的上层业务，成为整个网络的中心节点。ALFesmc

有行业人士表示，未来，用于数据中心的DPU量级将达到和数据中心服务器等量的级别。“每台服务器可能没有GPU，但一定会有一块或者几块DPU卡，这将是一个千亿量级的市场。”ALFesmc

本届GTC 2023上，NVIDIA宣布Oracle云基础设施（OCI）已选择 NVIDIA BlueField-3 DPU作为其网络堆栈的最新部分，从而为其客户提供一个强大的新选项，用于从CPU卸载数据中心基础设施任务。ALFesmc

BlueField-3 DPU是NVIDIA第三代数据处理器，与上一代BlueField DPU相比，BlueField-3 DPU支持高达400Gbps的以太网和InfiniBand网络连接，提供了4倍的计算能力、4倍的加密加速性能、2倍的存储处理性能和4倍的内存带宽。测试显示，与未使用DPU的服务器相比，使用NVIDIA BlueField DPU的服务器可降低高达24%的功耗。ALFesmc

通过NVIDIA DOCA软件框架，BlueField DPU可完全向后兼容。NVIDIA DOCA为开发者提供先进的零信任安全功能，使开发者能够创建用于控制资源访问的计量云服务、验证每个应用程序和用户、隔离可能被入侵的机器，并帮助保护数据免遭破坏和盗窃。ALFesmc

结语

在计算机科学界，没有人会相信近十年间，与训练模型和数据(从AlexNet训练到现在)相关的计算量会扩大100万倍。而在生成式AI需求爆发式增长的背景下，行业更需要进行充分的供应链准备，以满足全球对AI的需求。这也解释了黄仁勋之所以多次强调加速计算的原因所在，毕竟，通过执行这样的全栈操作，不但可以将计算性能显著提升，更可以有效节省计算时间，从而节约能源，助推可持续发展。ALFesmc