收购深鉴之后，赛灵思如何开启自动驾驶新篇章？

7月17日，一则重磅消息震惊整个AI产业，全球最大的FPGA 厂商赛灵思宣布收购中国 AI 芯片领域的明星创业公司——深鉴科技。一直以来赛灵思不仅是深鉴科技的忠实投资者，也是深鉴科技的重要合作伙伴。深鉴科技在其AI核心技术的研究上极其依赖于赛灵思，其推出的两款DPU都是基于赛灵思的FPGA 器件，而赛灵思也正是FPGA的发明者。FH9esmc

 FH9esmc

赛灵思大中华区销售副总裁Maria Tang 唐晓蕾 FH9esmc

赛灵思在汽车领域的布局和创新

在7月24日深圳举行的赛灵思汽车应用媒体说明会上，赛灵思大中华区销售副总裁Maria Tang 唐晓蕾、赛灵思汽车产品营销经理孙蕾蕾和赛灵思机器学习资深产品营销经理罗霖详细介绍了赛灵思在汽车市场的布局，以及收购深鉴科技之后的产品路线图。FH9esmc

唐晓蕾表示，赛灵思收购深鉴科技后，将会在AI、大数据、边缘计算领域有更多的创新和布局。此外，唐晓蕾也正重点介绍了今年3月推出的新一代技术自适应计算加速平台ACAP。FH9esmc

作为全球FPGA的发明者以及首个全球无晶圆半导体厂，2017年，赛灵思销售额到了23.5亿美元，全球市场份额超过了60%，客户达到20000多个，分布在多个不同的行业和市场领域。FH9esmc

此前，笔者曾经采访过赛灵思全球销售和市场部亚太及日本地区高级总监Stephen Chow（周海天），了解换帅后赛灵思2018年的发展策略，同时也谈到了赛灵思在人工智能领域的布局和规划。FH9esmc

对于赛灵思来说，2018年人工智能将是关注的重点，目前FPGA的应用领域主要集中在服务器端如云计算、大数据分析等。2017年赛灵思的平台不仅被亚马逊的语音计算平台采用，同时国内的华为、腾讯、阿里巴巴也是通过赛灵思的FPGA来进行云计算和加速运算。FH9esmc

展望2018年下半年，汽车自动驾驶将是赛灵思的重点发展方向。在今年的3月份，赛灵思推出了新一代技术ACAP自适应计算加速平台，对于ACAP，赛灵思定义为一个新的计算类别，希望超越传统的CPU和GPU，希望未来不管是工业还是数据中心，都能用ACAP来耕耘这个市场。FH9esmc

从计算终端发展来看，从PC到智能手机，未来是一个边缘智能时代，包括车联网、5G、工业4.0等。唐晓蕾表示，未来基于FPGA的异构计算将是大势所趋。FH9esmc

FH9esmc
赛灵思在产品上有哪些更新？FH9esmc

随着数字化的出现，很多互联网公司进入到汽车领域。包括百度的阿波罗计划，菜鸟物流的自动驾驶，京东的送货机器人，这个市场的玩家越来越多。赛灵思在汽车领域并不是新玩家。FH9esmc

赛灵思从2004年开始进入汽车行业，首先是在欧美国家进入tear 1的车厂。到2014年已经有14个品牌，目前已经有很多中国的品牌在使用。很多汽车行业对于FPGA非常感兴趣。到2018年，已经有29个品牌、110个车型用到赛灵思的产品，累计发货芯片超过4000万片。“汽车是供应链很长的市场，需要长期的投入。我们希望能够跟着大中华地区来一起成长。” 唐晓蕾表示。FH9esmc

唐晓蕾表示，赛灵思通过Zynq 7000（双核）以及MP SOC（四核）赛灵思切入了自动驾驶领域，主要创新应用在全屏显示，驾驶员监控、拖车影像等领域，还有双目摄像头、环视系统等都可以找到赛灵思的产品应用方向。FH9esmc

FH9esmc
FH9esmc

前后摄像头、环视摄像头和ADAS 激光雷达都可以用到赛灵思的产品。据介绍，在前端摄像头单元市场赛灵思目前占到38%的市场份额。未来欧美的新车出厂，如果要达到5星安全标准，前置摄像头是必备的需求，因此未来该市场有望继续增长。FH9esmc

FH9esmc
FH9esmc

在激光雷达领域，赛灵思目前占到了90%份额以上。唐晓蕾表示，当设计在变的时候，FPGA本身硬件和软件都在变，可以配合算法的快速更新。因此在新兴的行业中，FPGA是首选。FH9esmc

FH9esmc
FH9esmc

4D雷达主要通过RF传感器来确定目标的位置。激光雷达由于成本较高，目前汽车行业在考虑4D雷达的使用，现在市场上2D雷达有不同的地方，2D雷达看距离和角度。看得更加清楚，对周围的环境更加了解。FH9esmc

FH9esmc
FH9esmc

对于4D雷达来说，由于需要大量使用同步处理流水线，赛灵思的FPGA在这个领域就更具优势。孙蕾蕾也表示，激光雷达的成本也逐渐降低，也不会说4D雷达会取代激光雷达，4D雷达也不会像2D雷达一样的成本，现在激光雷达还是2D雷达的20倍的价钱，未来这个价格会逐渐接近。FH9esmc

FH9esmc
FH9esmc

赛灵思在大中华区的合作伙伴，包括海康威视，不管是停车系统还是自动环视系统都会用到赛灵思的产品。FH9esmc
FH9esmc

戴姆勒奔驰无人驾驶为何选择赛灵思？

7月11日，赛灵思和戴姆勒公司宣布，两家公司正强强联手采用赛灵思汽车应用领域的人工智能 (AI) 处理技术共同开发车载系统。此项可扩展的解决方案由融片上系统（SoC）器件和 AI 加速软件为一体的赛灵思汽车平台提供支持，将为当今汽车应用领域中的嵌入式 AI 带来诸如高性能、低时延以及业界最佳的功率效率等众多优异特性。FH9esmc

提到与戴姆勒奔驰的合作，孙蕾蕾 表示，大的车厂会有很多不同的技术团队，会跟进不同的技术方向，不会在大的客户看到一种技术方向。戴姆勒在跟赛灵思的合作过程中，发现赛灵思的产品在低延时、高功耗的产品是不可取代的。孙蕾蕾表示，在低延时、高信号比、灵活度上赛灵思的优势将会一直存在。FH9esmc

为什么无人驾驶技术要选择赛灵思的FPGA平台呢？孙蕾蕾表示，对于无人驾驶来说，反应速度非常重要。需要用到摄像头、激光雷达和雷达。有的汽车雷达需要10个，所有的频道要分析大的数据量，另外计算器、加速器也非常重要。所以赛灵思做了很多的功夫。另外OEM厂商开发的时候希望有一些差异性，所以赛灵思的产品是可以用自己的IP来做更新。FH9esmc

FH9esmc
FH9esmc

FPGA还有一个优势是可扩展性。动态功能交换，整个硬件可以用不同的功能，同样的FPGA为什么需要这么大的逻辑单元？比如你开车在高速公路和低速公路上需要的功能不同。FH9esmc

以后的汽车因为无人驾驶，需要对汽车的速度进行同步。在低速的时候，要看到交通灯、行人、停车这些不同的功能，所以同一个FPGA可以做不同的功能。孙蕾蕾表示，赛灵思是第一个无线更新软硬件升级的，所以为客户增加了很多的灵活度。另外FPGA的散热能力增加了，可在高温的工作环境下正常运作。FH9esmc
FH9esmc

针对ADAS/AD的嵌入式视觉要求

FH9esmc
FH9esmc

从过去的40年到近两年，每天都会有很多创新的算法出现，如何能够有效的支撑这些新的网络？对于ASIC来说这是一个巨大的挑战。虽然目前有很多的芯片架构都针对人工智能，但在人工智能发展初期的一些应用上，在还没找到最优的算法和性能的时候，绝对是FPGA更合适。“如果一旦有一个网络出来，我有一个很灵活的平台，我可以快速的部署我最新的创新，这是客户最需要的东西。”罗霖表示。FH9esmc

FH9esmc
FH9esmc

在很多时候，时间是花在数据的搬运上，在计算架构上，我们希望数据能够尽量停在芯片商。这意味着客户需要大量的片上内存，赛灵思的嵌入式FPGA和英伟达的Tegea X1相比，具有更好的存储性能，可以降低时延。FH9esmc

FH9esmc
FH9esmc

目前主要的云服务厂商已经广泛使用FPGA服务，通过完整的加速堆栈支持软件开发，以及面向嵌入式系统的FPGA设计的软件驱动工具和方法，赛灵思面向的将不再只是硬件工程师。罗霖表示，在底层平台赛灵思已经帮客户定义好了一些标准的硬件平台，上面很多的传感器包括传感器、USB和MIPI的接口，创建工程，上面可以用高级语言来开发。同时利用机器学习的库来很快的部署应用。FH9esmc

FH9esmc
FH9esmc

谈到未来的产品路线规划。罗霖表示，目前赛灵思主要提供的产品包括前置的摄像头，一级单目、双目、偏离检测等，包括面向司机的疲劳驾驶检测，下一步会在2019年做到L1L2，会把前置摄像头和毫米波雷达融合，采用的是大一点的Zynq 器件，另外国内现在要求很强的自动泊车的系统。包括一些女司机可以自如的完成停车动作。FH9esmc

再下一步是L3的规划，包括多摄像头和传感器的平台，比如自动泊车，OMS（驾驶舱类人车智能交互应用），通过这种技术可以防止出现把小孩关在车中的情况。FH9esmc

L4将采用是ACAP，据介绍目前已经有一些欧美的客户开始测试。FH9esmc

FH9esmc
FH9esmc

罗霖表示，赛灵思正面向ADAS和AD的机器学习做了很多的研发和优化，实现功耗、成本、灵活、上市时间的平衡。为了降低嵌入式开发学习的难度，目的是提供客户的开发效率。FH9esmc
FH9esmc

赛灵思客户车载创新应用案例

FH9esmc
FH9esmc

举一个真实客户的案例，这是美国一个车厂的项目。采用赛灵思的ZCU 102开发平台，利用到赛灵思快速角点和密集光流的算法。FH9esmc

FH9esmc
FH9esmc

罗霖表示，最早在上一代FPGA的板子通过ARM来跑，第二步把ARM的代码移植到FPGA上，不断的提升性能和进行算法优化。通过赛灵思的系统工具，客户不需要写任何一行硬件代码就实现了开发。FH9esmc

FH9esmc
FH9esmc

此外，一家知名的OEM汽车厂商，评估了压缩工具。原先计算量是198G 精度达到80.4G，经过压缩后，模型压缩到原来的7%，损失很大的情况下，另外需要用一个Zynq器件同时做12通道目标检测。FH9esmc
FH9esmc

FH9esmc
FH9esmc

这个案例是赛灵思帮美国一个汽车客户做的一个神经网络的检测，可以做到8通道30fps的性能。FH9esmc

FH9esmc

FH9esmc

还有欧洲一个客户要求用赛灵思的ZU9上的演示，来在神经网络实现像素级的分割，要求是四个通道。FH9esmc

FH9esmc
FH9esmc

这是mini eye的3D摄像头，可以检测车的颜色，可以识别车牌。FH9esmc

FH9esmc
FH9esmc

也可以识别车道线、红绿灯、行人，和可行驶区域。在国内很多公司，通过自己的研发做出来的算法效果在全球范围是非常领先的。FH9esmc

FH9esmc

这是辅助停车的一个应用，通过四个鱼眼摄像头来捕捉车身周围的东西，通过深度学习可以检测出车位的线。有了这些信息后，车辆可以自己找到车位来进行泊车。FH9esmc

 FH9esmc

这个应用是自行科技做的疲劳状态的检测，这个司机一旦分心，下方的绿色长条会减少，变成红色。同时还可以进行人脸识别，可以知道驾驶车的司机是谁。以后可以做出的应用是这辆车只能某一个用户通过人脸识别解锁。FH9esmc

 FH9esmc

可以在一个芯片上跑不同的应用，可以做分割、检测、分类，在赛灵思的平台上可以实现高效的深度学习，用于ADAS和AD的应用。FH9esmc