Facebook跨界打造AI深度学习芯片

据Facebook一位高层证实，该公司目前正在招聘晶片工程师，并展开至少一款ASIC设计。在日前于美国加州举行的Facebook @Scale 2018大会上，这家社交网路巨擘宣布，预计将有五家晶片公司支援其Glow——一款开放来源的深度学习编译器。13Oesmc

Facebook基础架构副总裁Jason Taylor说，Facebook「确实成立了一支专门与晶片供应商合作的晶片团队，同时，我们也在打造自家晶片。不过这当然不是我们的首要关注重点。」他表示，这款晶片「并不等同于Google TPU」深度学习加速器，但他并未提供与这款晶片有关的更多细节或时间表。13Oesmc

Facebook的新晶片部门工作重点之一在于与大约50家设计人工智慧(AI)加速器的公司合作。Taylor指出，「市场上将出现许多加速器晶片。但最大的问题在于他们针对的工作负载是否是当前最重要的。」13Oesmc

在主题演讲中，Taylor将Glow描述为一种通用编译器，让开发人员能够针对云端或网路边缘中任何新兴深度学习加速器进行推论任务。它并不针对智慧型手机等客户端系统。13Oesmc

「我们预期[推论加速器]市场将会出现硬体零碎化的情况。我们开发Glow的目的在于协助机器学习专家设计神经网路，而不必面对调整『每个特定晶片』所需的工作。」13Oesmc

「我们知道硬体零碎化即将发生，因为没有人知道哪一种[硬体]资源的组合——例如晶片上记忆体区块和乘法累加阵列——将会胜出，因此我们让开发人员专注于高层级的图形，而无需为硬体规格手动编码。」13Oesmc

Facebook基础架构副总裁Jason Taylor形容Glow是一款为云端和边缘网路进行推论的编译器（来源：Facebook）13Oesmc

Taylor解释，Glow采用由TensorFlow或Caffe2等架构产生的AI图形，并将其渲染为硬体加速器的位元程式码。根据Facebook的一篇部落格文章，该编译器内含几种工具，包括为晶片特定记忆体配置产生有效程式码的指令排程器、线性代数最佳化器与记忆体分配器，以及用于测试硬体精确度的CPU参考建置。13Oesmc

益华电脑(Cadence)、Esperanto Technologies、英特尔(Intel)、Marvell和高通(Qualcomm)等公司都表示未来的晶片将支援Glow。Taylor则表示希望进一步扩展支援名单。「这是Glow作为开放来源的优点之一。」13Oesmc

一位资深晶片专家将Glow描述为在生产系统中部署神经网路的架构。其输入是在TensorFlow或Caffe2等架构中创建的图形。13Oesmc

几家既有的晶片制造商已经提供了类似的软体。例如，辉达(Nvidia)的Tensor RT自架构中提取图形，并为其GPU输出Cuda程式码。13Oesmc

传统上，编译器针对特定晶片进行严密的最佳化。但是，Taylor说：「近来的编译器范围比过去的更加广泛——Glow中的最佳化必须能辨识可以渲染到硬体加速器的大部份图形。」13Oesmc

13Oesmc

转型AI的前兆？13Oesmc

在快速发展的深度学习领域，Glow可说是致力于填补软体和硬体之间差距的最新例证。例如，Nvidia Tensor RT虽然在一年多前才首次发布，至今已进展到第五个版本了。但有些加速器新创公司对于支持各种软体架构及其变化所要求的工作程度也无能为力。13Oesmc

Facebook、微软(Microsoft)和其他公司则都支援ONNX——一种以权重表现图形的标准方法。去年12月，Khronos Group还发布了用于深度学习加速器的硬体抽象层NNEF。13Oesmc

Glow是Pytorch 1.0的一个组成部份。Pytorch 1.0是一个开放来源计划组合，包括合并的Caffe2和Pytorch架构。Pytorch 1.0的第一个开发者大会将于今年10月在旧金山举行。13Oesmc

Facebook工程经理Kim Hazelwood在另一场活动中展示Facebook使用的十几种不同深度学习工作负载，其中至少使用了四种不同类型的神经网路。每天，该AI应用程式(App)产生超过200兆个推论，翻译超过50亿个文本，同时也自动删除至少100万个假帐户。13Oesmc

她说，Facebook的一些推论任务需要的运算量是其他任务的100倍。如今，Facebook在其设计的一小部份CPU和GPU伺服器上执行这些任务。13Oesmc

Hazelwood在接受《EE Times》访问时说，从通用硬体转向客制硬体，必须为那些仍在定义中的工作负载量身打造晶片。但她拒绝透露Facebook对于使用任何自定义AI加速器的想法。13Oesmc

在至少十几种深度学习app中，仅Facebook本身就采用了至少5种神经网路13Oesmc

一位观察家推测，Glow可说是一款理想的工具，有助于让公司采用适合其工作负载的加速器。Facebook的晶片团队还能协助精选晶片，或许还可以为其提出客制化晶片的建议。13Oesmc

此外，Facebook的一篇部落格文章描述它所开发的一款全新软体工具，使用深度学习来除错程式码。SapFix可以自动产生针对特定错误的修复程式，然后提交给工程师进行审核并部署至生产中。13Oesmc

目前，Facebook已经使用SapFix，加速为使用Facebook Android App的数百万装置发送程式码更新的过程。Facebook表示将发布该工具的一个版本，但未具体说明时间表。13Oesmc

编译：Susan Hong13Oesmc

(参考原文：Facebook Builds Chip Team, ASIC，by Rick Merritt)13Oesmc