资料中心AI晶片谁与争锋？

看好深度学习加速器市场预计将达到250亿美元的庞大商机，资料中心正积极为多款晶片展开实验室测试，预计将在明年部署其中的一些晶片，并可能针对不同的工作负载挑选多款加速器。wLBesmc

目前为止，包括Graphcore、Habana、ThinCI和Wave Computing等50家供应商的AI晶片都在其客户实验室中进行测试。在日前于美国加州举行的人工智慧硬体高峰会(AI Hardware Summit)上，来自这两大阵营——晶片供应商及其资料中心客户的代表们均表达了各自的立场。wLBesmc

微软(Microsoft) Azure部门的杰出晶片工程师Marc Tremblay指出，一个逐渐明朗的问题是「没有所谓的通用编译器——这些晶片架构各不相同」。Marc Tremblay的部门负责管理超过1百万台的伺服器。wLBesmc

微软勾勒资料中心AI晶片版图

该资料中心巨擘正在开发称为Lotus的自家执行环境，可将人工智慧(AI)图形映射至硬体语言。Facebook上周也推出一款通用的深度学习编译器Glow，以支援其生态伙伴策略。wLBesmc

资料中心渴望能在AI性能方面实现重大飞跃进展，超越被誉为当今「训练加速器之王」(the king of training accelerators)的辉达(Nvidia)运算架构Volta。Tremblay在发表专题演说时提到，「有些训练任务在GPU上执行需要22天的时间，甚至还有超过2个月时间的，但我们希望尽快就会有答案。」wLBesmc

语音辨识应用程式(App)大约使用4,800万个参数。研究人员正致力于研究神经网路；这些神经网路使用非对称连接产生自己的模型，进一步将运算需求提升到新的层次。wLBesmc

Tremblay说：「我们需要10-50倍的频宽，才足以支援更多深奥的神经网路出现。」。wLBesmc

针对16晶片的系统，当今的GPU价格高达40万美元且功耗相当高，即使是交换器晶片也需要散热片。他说，在晶片丛集上进行线性扩展「有时需要进行一些工程师不想做的任务。」wLBesmc

目前，微软采用V100和上一代GPU，并密切「关注」Nvidia上周发布的T4晶片。Tremblay指出，它看起来可望用于同时执行多个神经网路。wLBesmc

此外，微软以及其他资料中心巨擘都在其x86 CPU上执行多种深度学习任务。「对我们来说，它通常是免费的，因为x86晶片并非一直在执行中。」他指出，软体最佳化——例如英特尔(Intel) Cascade Lake中的新AI指令，将有助于推动多年的进展。wLBesmc

未来，资料中心可能会采用多个加速器，让每个加速器分别映射到最适合的特定工作负载。Tremblay简介了各种不同的语音、视觉、语言、搜寻和其他AI App，每一个App都各自具有延迟和吞吐量要求。wLBesmc

wLBesmc

微软杰出晶片工程师Marc Tremblay介绍AI晶片发展现况（来源：Microsoft）wLBesmc

有些App使用多达20种类型的神经网路，使得跨不同神经网路模型的灵活性成为必备要求。范围甚至包括对延迟敏感的Bing搜寻采用单个批次处理，而为其他App采用超过100个批次处理。因此，Tremblay为其测试的晶片分配了一个稳定的数字作为其灵活性的衡量标准。wLBesmc

他说：「新创公司先忽略安全和虚拟化等问题。他们并不需要从一开始就准备齐全，但最终我们都必须着手以成熟的CPU和GPU实现各种功能。」wLBesmc

他总结道，关于资料中心AI的好消息是「我们还有很长的路要走，但如今的进展令人难以置信......许多创新不断涌现，AI的未来前景光明。」。wLBesmc

Wave Computing瞄准资料流系统

新创公司Wave Computing在会中介绍其资料流(dataflow)架构细节。如同其竞争对手Cerebras一样，Wave将会销售完整系统，因为要达到性能提升的目标需要的进展并不只是来自处理器。wLBesmc

具体来说，Wave目前的16nm处理器使用HMC记忆体上的15GByte/s埠，连接板上的4个晶片和系统上的4块板子。记忆体及其互连是透过其处理器丛集串流图形的关键，有助于避免处理器透过相对较窄的PCI Express汇流排馈入延迟。wLBesmc

Wave选择HMC的部份原因出于权宜之计。该新创公司与HMC供应商美光(Micron)建立了策略联盟，但对于一家规模相对较小的新创公司而言，竞争的HBM记忆体似乎过于复杂且风险高。wLBesmc

目前在金融、随选视讯和制造业等市场约有6家公司正在测试用于其IT部门的部份机架。为了服务像微软等大型资料中心，Wave需要一个全机架的系统，该系统将会采用基于HBM的下一代7nm处理器。wLBesmc

wLBesmc

Wave的首款系统使用HMC连接4个四路处理器板（来源：Wave Computing）wLBesmc

针对其关键的互连技术，该新创公司仍在研究如何从序列HMC转换至平行的HBM记忆体。虽然HMC支援多个埠，但HBM通常配置一个执行高达307Gbytes/s的快速埠——1,024I/O中的每一接脚都支援2.4 Gbits/s的速度。wLBesmc

Wave最初关注的是企业用户，因而发展成为其服务业务。该公司在菲律宾建立了一支20人的团队，协助IT部门学习如何开发自家深度学习模型。有些大型资料中心的资料科学家经常自行处理数据。wLBesmc

有趣的是，Wave原本是在Tallwood Venture Capital育成中心的一支团队，到了2009年才独立出来，这时间大约是深度学习开始蓬勃发展的三年前。当时，该公司的目标在于打造能以高阶语言编程的更高效率FPGA竞争方案，希望挑战Tabula和Achronix。wLBesmc

Wave的深度学习处理器右途径是让图形元素流经电路，并加以执行。Wave共同创办人兼技术长Chris Nichol在主题演讲中表示，它可以为任务设置最佳精确规格的指令，而电路在完成执行后会回到睡眠状态。一位市场观察家曾经发布一份关于此系统架构的白皮书。   https://www.eetimes.com/document.asp?doc_id=1333538wLBesmc

wLBesmc

Wave的处理器丛集，可让图形资料流经电路wLBesmc

Graphcore聚焦完整系统

Graphcore发表其采用236亿个电晶体的Colossus，该晶片目标在于将整个神经网路模型保留于其300 Mbytes的晶片上记忆体。该新创公司声称可以在其1,216个核心上平行处理7,000个程式，每个核心都有100 GFlops的效能。wLBesmc

Colossus支援高达30 TBytes/s的内部记忆体频宽，外部支援在80个通道上的2.5 TBits/s晶片到晶片间互连。在单个PCIe Gen4 x16板卡中封装2个晶片，提供31.5 GByte/s的I/O性能。wLBesmc

针对该新创公司的架构或时间表，Cerebras执行长Andrew Feldman并未详谈，但他表示必须打造完整的系统。他在会中的一场专题讨论中指出，「如果你做好了PCI介面卡，就可能受限于功率、散热和I/O。」唯有提供完整的系统才不至于造成系统扩展的阻碍。wLBesmc

新的硬体将为新的AI工作负载铺路，从而带动更多需求。他说，深度学习「研究人员最担心受限。他们有一连串的问题和想法，而且[今天发展相对较慢]的电脑也造成阻碍。」wLBesmc

至于产品，他说将会透过管理神经网路稀疏性，以提供1,000倍的性能提升。他说，该公司并不会使用任何奇特的技术，但确实需要新颖的核心、记忆体架构、编译器、结构和技术，从而为资料中心冷却系统以及降低功耗。wLBesmc

SambaNova Systems是另一家在会中首度亮相的新创公司。如同Cerebras、Graphcore和Wave一样，SambaNova Systems拥有一支经验丰富的架构师团队，将基于史丹佛大学(Stanford University) Spatial的编译器整合于其资料流晶片中。wLBesmc

编译：Susan HongwLBesmc

(参考原文：AI Chips Put to Data Center Tests，by Rick Merritt)wLBesmc