Arm全新智能视觉参考设计：首次整合第三方IP，针对中国智能视觉市场

自公司成立以来，Arm在过去三十多年深耕物联网领域，拥有着与嵌入式息息相关的基因和技术栈。现今的Arm全力打造物联网全面解决方案，不仅重视单一IP，更致力于通过一整套的物联网解决方案助力产业链上不同角色的客户都能加速其产品开发进程并推向市场。BfBesmc

面对中国这一引领视觉技术发展的中坚市场，Arm 通过发布针对视觉应用设备的全新智能视觉参考设计，为视觉芯片及系统设计奠定坚实可靠的基础，并支持灵活配置，为客户降本增效，使视觉软硬件联合创新成为可能，支持中国客户实现差异化创新。BfBesmc

在近日的“Arm媒体技术沟通交流会”上，Arm物联网事业部业务拓展副总裁马健女士、安谋科技智能物联及汽车业务线负责人赵永超先生向《国际电子商情》等行业媒体分享了Arm智能视觉参考设计的特点和优势。BfBesmc

满足资源受限的边缘设备的视觉需求

在模型和行动无处不在的新时代，智能视觉将变得必不可少。BfBesmc

而机器系统通过视觉等感官来理解周围环境，并在此基础上做出相应的决策和行动，比如视觉信息可为自动驾驶汽车、机器人提供关键的避障能力。另外，视觉信息对人机交互也至关重要，未来服务型的机器人不仅需要高智商，更需要高情商，机器视觉可以通过捕捉人类的表情、手势和动作，来理解人类的意图和情感，从而可改善AI与人类的沟通效率。模型优化也依赖于智能视觉等感知技术，从现实生活中采集数据形成精准模型，而不仅仅依赖于文本描述和静态图像。BfBesmc

在谈及智能视觉系统的技术发展趋势时，马健从三个方面做了总结：BfBesmc

“首先是云、边、端的协同。”她以自动驾驶汽车的应用为例表示，该类应用的视频数据量巨大，要求系统能实时收集、分析这些视频数据，而智能视觉系统可将计算和决策任务分布在云、边和终端设备上，可在这些不同的终端上协同工作。因此，该视觉系统非常适合自动驾驶汽车的需求。BfBesmc

“其次是AI加持。”未来的智能视觉系统将继续依赖深度学习模型和神经网络来进一步提高图像的分析和识别能力，并利用强化学习和自主自适应学习，从而使系统能够从环境中不断学习和改进，并能适应新的场景和任务。马健补充说：“一副好的眼镜可以将人的视力恢复到1.5，智能视觉系统也需要准确和高质量的图像处理功能，以支持更高效的特征提取、目标跟踪与检测、图像分析和理解，以及图像生成/合成。”BfBesmc

“再次是算力支持。”因为复杂的模型和算法、大规模图像数据处理，都有提出实时性、高精度、高并发的要求，所以智能视觉系统需要提供越来越大的计算资源和算力支持。与此同时，智能视觉系统在物联网领域的广泛应用，也引发了大家对隐私和安全性的关注，未来将会更重视采用加密、匿名化等技术手段来保护用户的隐私，加强系统的安全性，以防止被恶意攻击和滥用。BfBesmc

马健还补充说，在设计Arm智能视觉参考设计的同时，Arm也分别从认证标准、IP 实践、到软件赋能等面向，助力产业安全达标。助力开发者和芯片设计者能够在这种安全和标准化的基础上进行视觉系统的设计。BfBesmc

在过去几年里，智能视觉芯片架构经历了一系列演进——从功能固定且难以编程的DSP、ASK，到通用性且强易编程的CPU架构，再到现在最先进的综合CPU、ISP图像处理器、NPU AI加速器、VPU视频编解码器、GPU图形处理器的异构SoC片上系统，该系统已经逐步具备了低功耗、高性能和高度集成的特点，为智能视觉成为一种普世的能力奠定基础。整体而言，智能视觉系统适用于资源受限的边缘设备，比如智能手机、摄像头、XR、机器人和物联网设备等。BfBesmc

全新的Arm®智能视觉参考设计

近日，Arm推出了新的Arm®智能视觉参考设计，该方案的硬件参考设计包括CPU、ISP、NPU 和 VPU处理器选项，以及将这些元件粘合在一起的子系统IP，可满足不同场景下的差异化视频处理需求。BfBesmc

马健举了一个简单的例子说：“我们正由生产原材料向生产半成品的方式转变，即从提供处理器/系统IP向提供预先经过集成和验证的子系统转变。这种新的设计方式和产品形态，基于Arm应用于智能视觉领域的处理器/系统IP，由此构建出了相对标准化的IP组合。”BfBesmc

这种方式可显著降低芯片研发的成本和风险，可大幅度缩短研发周期。创新者们无需从零开始设计，就可专注于产品的差异化，快速将自己的想法推向市场。另外，由于该参考设计是半成品，Arm也会根据应用的需求，来集成第三方的IP，给予客户更多的灵活性，以支持差异化创新。BfBesmc

Arm智能视觉参加设计采用成熟的Arm CPU IP作为基础，Arm CPU在智能摄像头领域有九成以上的份额，已经用于诸多智能视觉品牌设备，保证IP的质量和强大的软件生态系统。此外，此设计带有低功耗待机子系统，支持电池供电的视觉设备。BfBesmc

BfBesmc

具体来看，Arm的智能视觉参考设计主要包括以下几个重点：BfBesmc

• Arm Corstone™-1000：整合 Cortex-A、Cortex-M处理器与内建安全性，为不同应用在受限的功耗范围内提供效率及高性能。
• Arm Corstone-300：为机器学习工作负载提供“永远在线”的低功耗子系统。
• Arm Mali™-C55图像信号处理器(ISP)：在极小的芯片面积条件下，提供可配置、高能效、高性能的图像质量。

来自安谋科技的第三方IP在视频和机器学习能力方面提供更多选项：BfBesmc

• “玲珑”V5视频处理器：支持紧凑的、多格式(例如H.264, H.265)且高效能的视频编解码处理。
• “周易”NPU：为广泛的机器学习用例提供高达 4TOPS 的性能表现，并且支持业界主流的AI规模框架，例如Tensorflow、Caffe、ONNX、Pytorch等。

Arm与安谋科技的第N次合作

Arm此次与安谋科技合作推出的新智能视觉参考设计，这是Arm首次将其子系统IP与第三方IP进行整合，为什么Arm会选择与安谋科技合作？BfBesmc

马健回应称，差异化是客户重点追求方向之一，而在中国这个竞争非常激烈的市场中，视觉系统的设计者和制造商都必须能够把自己最新的想法、自己的差异化尽快地达到量产的水平，推向市场。所以，这次的参考设计是与在中国长期的伙伴安谋科技进行合作，并由安谋科技进行集成和验证，达到参考设计最适合于中国市场的产品形态。BfBesmc

她补充说，另一个考量因素是，除了现有的参考设计中的IP之外，客户可能还会有一些创新的想法加入其他的第三方IP。由于安谋科技参与了这个参考设计的集成和验证，对产品有高度的熟悉度，也有研发团队可以帮助对这个参考设计有兴趣的客户进行第三方IP的集成。BfBesmc

BfBesmc

智能视觉参考设计中有采用安谋科技的玲珑”VPU和“周易”NPU。赵永超表示，“玲珑”VPU是编解码融合、灵活可配、可编程的多核视频处理器，不断在编码标准、编码质量、PPA(功耗、性能、面积)等各个方面进行提升，并保持与Arm架构以及多媒体生态的兼容。“周易”NPU在4 TOPS的典型配置下，在16纳米工艺上实现面积只有3.3平方毫米。同时，“周易”NPU可以支持多种典型的深度学习框架，如Tensorflow、Caffe、Pytorch等，可以加速客户应用的部署。BfBesmc

总之，Arm智能视觉参考设计通过集成安谋科技“玲珑”VPU和“周易”NPU，并由安谋科技将Arm IP与安谋科技自研IP进行集成和验证，可进一步满足国内客户在不同场景下的差异化视频处理需求，提高机器学习与视频处理工作时的负载表现，从而加速视觉应用产品的创新落地。BfBesmc

针对中国智能视觉市场的新设计

值得注意的是，此次视觉参考设计主要针对中国市场。为什么是中国智能视觉市场？BfBesmc

马健介绍说，Arm的很多来自中国的合作伙伴反馈，中国很多的IPC视觉系统已经进入红海市场。如何才能让合作伙伴能够聚焦自身的差异化，而不是去做重复性的基础IP整合工作、基础软件的开发工作，这是Arm和安谋科技携手合作推出Arm智能视觉参考设计的初衷。BfBesmc

“从制造到零售等行业的自动化程度不断提高，加上机器学习和物联网的重大技术突破，使得中国对视觉设备的需求，以及在视觉技术方面的创新，都呈现稳步增长的趋势。”她补充说，“在视觉成为边缘设备普世能力的未来，中国是引领视觉技术发展的中坚市场，该市场的创新活跃度高涨、竞争激烈。中国客户促使我们以新的方式，更好地支持他们的差异化创新。”BfBesmc

BfBesmc

此外，Arm还宣布了“Arm智能视觉合作伙伴计划”，该计划汇集软件、硬件、系统集成商伙伴，帮助设计者与开发者加速将其生产就绪的视觉应用设备推向中国市场。加入该计划的合作伙伴将与视觉应用生态厂商紧密合作，共同优化产品与开发者体验，加速推向市场。BfBesmc

这些生态伙伴可借由Arm虚拟硬件(Arm Virtual Hardware, AVH)的形式获取Arm智能视觉参考设计的虚拟模型，助力软件开发者在芯片完备前先着手开发并优化代码。该参考设计具备可信任的底层IP技术，在增强安全、可移植性与兼容性方面，已取得 Arm SystemReady™ IR与PSA Certified Level 2等重要的业界标准认证。BfBesmc

如今，“Arm智能视觉合作伙伴计划”的参与者已经包括诚迈科技、安凯微电子、爱芯元智、百度飞桨、昱感微电子等十多家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内领先企业。BfBesmc