ABCD（即人工智能、区块链应用、云计算、大数据）是科技行业的发展趋势和未来。麦肯锡2013年就预测过，到2025年移动互联网、自动学习、物联网、云计算、机器人和自动驾驶这些新技术能够创造的社会价值。但目前来看这个数据是被低估了，这几年发展得太快。HXXesmc

HXXesmc

所有这些都是由AI推动的新的领域与应用场景。那人工智能、机器学习和深度学习这三者到底是什么关系，又能实现哪些功能呢？HXXesmc

日前，在ASPENCORE旗下《电子工程专辑》、《EDN》和《国际电子商情》共同举办的“IoT技术与应用论坛”上，恩智浦半导体大中华区客户应用方案与技术部门资深工程师李俊祥在其“恩智浦人工智能与物联网解决方案 赋能智能物联生态创新”议题上给我们做了详细解读。他的演讲内容涵盖以下四个方面：第一，i.MX系列处理器在AI方面的能力；第二，关于语音、视觉和人脸的解决方案；第三，恩智浦产品线路图；第四，几个客户典型应用案例。HXXesmc

HXXesmc

人工智能 ⊃ 机器学习 ⊃ 深度学习

他表示，实际上AI是一个非常大的范围——机器学习是它的一个子集，深度学习又是机器学习更小的一个子集。深度学习能够解决的问题如下图所示。HXXesmc

HXXesmc

AI是个很大的范围，在这整个框架中，首先是神经网络模型的训练，这需要通过很大的计算量，才能训练出识别率比较高的模型。目前训练主流是采用GPU，另外谷歌也推出了自己的TPU。HXXesmc

HXXesmc

HXXesmc

然后是云端推理。像目前比较常见的人脸识别、语音识别都是做云端匹配的，比如人脸识别，它会把你的图像送到云服务器上，做大量比对，然后得出最终结果，返回到你的识别端。HXXesmc

HXXesmc

最上面是更轻量级的设备端推理，包括手机和IoT的节点等。这些设备本身没有很强的计算能力，但在很多时候也需要做一些简单处理，比如指纹门禁，它不可能把所有指纹数据全部送到云端去做处理，而且有些设备是脱网的，只有在本地做计算，因此，像这样的应用场景都不会很复杂，比如指纹、简单的人脸识别都可以在本地去做。HXXesmc

HXXesmc

轻智能技术涉及什么？

他表示，NXP因为是做的嵌入式处理器，所以主要聚焦轻智能技术，而不像基于Nvidia GPU或Google TPU那样很高端的智能技术。HXXesmc

轻智能的核心是GPU，对于NXP i.MX系列的处理器来说，都是带有GPU的。i.MX系列都提供有安卓和Linux DSP。目前支持安卓的最新版本是Android 8.0，同时也支持OpenCL。HXXesmc

i.MX GPU处理器的发展线路图，性能一直提升，并且性能提升翻倍，指标如下。HXXesmc

HXXesmc

i.MX GPU的运算能力，首先都集成有OpenCL的功能，可以直接用其标准接口，比如做深度学习时可以直接调用OpenCL驱动。你的算法如果同时用到CPU和GPU，那用i.MX处理器会更好。另外，在自动驾驶和机器人方面，i.MX目前已经实现的一些功能如下。HXXesmc

HXXesmc

HXXesmc

另外，基于AI的一整套开发文档、参考代码以及训练模型，NXP在年底都会提供，可以在网上下载。HXXesmc

各种无线技术及网关

恩智浦目前提供的无线技术包括ZigBee、蓝牙BLE、THREAD等。NXP目前基本都把这些无线功能和MCU整合在一起。HXXesmc

对于物联网，最简单最基本的设备，比如可穿戴设备，基本上用BLE实现就可以了。然后对于IoT边缘节点、工业和家庭自动化/楼宇自动化等应用，则会用到WiFi、THREAD、ZigBee等技术。HXXesmc

HXXesmc

IoT网关的基本架构如下。智能家居、物联网以及其他边缘节点之间可能采用任意连接拓扑，蓝牙、WiFi等各种无线都有，它们会连接到网关上去。另外，像可穿戴设备，医疗，手机也会连接到IoT网关上，然后如果需要，发送到云端，然后在其他地方则可以通过手机或PC客户端去控制。HXXesmc

HXXesmc

智能音箱参考解决方案

语音很成熟，如智能音箱卖的很火，基本架构都差不多，如下。HXXesmc

HXXesmc

各种计算机视觉应用场景

计算机视觉有很多应用场景，如下。HXXesmc

HXXesmc

入门级像门禁、考勤、游戏手柄等无法联网，因此必须在本地计算。比如门禁/考勤，这些应用对CPU要求都不是太高，用i.MX 6系列的单核或精简的Cortex A7处理器就可以了。手势识别和游戏手柄等对CPU的要求那就可能更简单。目前传统的人脸和手势识别，很多公司主要用传统算法来做，但NXP目前做出的很多Demo都是基于深度学习来做。中级，比如手机上多摄像头室外应用场景，比如广场、汽车应用，在广场能同时抓拍多个人，能够抓出/定位人脸并快速放大，抓出清晰的面部特征。然后对于汽车应用，在开车过程中能够随时监测到旁边的路牌、前面车的车牌、路边行人、车道偏移等动作，这些应用在机器视觉里算是难度比较高的了。更高级的应用则有多摄像头3D场景的应用。HXXesmc

对于i.MX 8系列，i.MX 8M、8X年底都会发布，i.MX 7系列针对可穿戴和物联网应用，采用的是Arm 7内核。NXP把无线和MCU集成在一起，蓝牙BLE、ZigBee、THREAD全集成的系列都有。HXXesmc

5个客户典型应用案例

1.音频处理的框架。上面用到i.MX 6ULL的处理器，工作频率是528MHz，也有900MHz更高端的，最便宜的3美金左右。HXXesmc

HXXesmc

这种音频解决方案是很简单的，输入是1到2个麦克风，然后送到云端处理并返回本地。HXXesmc

2.更高级些的多麦克阵列智能音箱解决方案，前端麦克风矩阵包括音频dsp，主控则采用i.MX 7D/8M系统。HXXesmc

HXXesmc

3.智能猫眼应用，相当于智能门禁，是用i.MX7ULP来做的。它包括A7和M4核，M4核一直工作，检测按键以及一些传感器和简单音频处理，但需要做人脸识别或联网操作时，M4核可以很快唤醒A7核，去做多媒体处理和网络处理，处理完后则关掉。HXXesmc

HXXesmc

4.基于机器学习的新零售应用方案。左边是智能微波炉，让微波炉自动识别食材，而不用联网。因为食材不多，所以用MCU就可以存储。右边是智能冰箱，自动售货机的场景稍微复杂，因为不知道客户的东西是什么，因此需要连云。HXXesmc

HXXesmc

5.物联网网关，可以在NXP网站上找到整套资料。HXXesmc

HXXesmc