Arm赋能边缘AI的三大“法宝”

11月5日，在IIC Shenzhen - 2024国际集成电路展览会暨研讨会同期举办的2024全球CEO峰会上，Arm物联网事业部业务拓展副总裁马健(Chloe Ma)女士发表了“大模型时代边缘智能的新思考与新范式”主题演讲。Isnesmc

演讲现场上，Chloe亲身展示了她与特别“助手”——Ray-Ban Meta智能眼镜——的实时交互，用语音提问它“Hey Meta, tell me what I am looking at？”，不到一分钟后，智能眼镜会回答：“您正在看会场，会场里有很多听众。”Isnesmc

Isnesmc

“智能眼镜可以更自然地见我所见，闻我所闻，有望重塑人机交互方式，使之更自然、智能和贴近用户需求。”Chloe分享道，“展望未来，大模型时代可能会颠覆现在所有的电子产品与芯片形态。”Isnesmc

AI大模型飞入寻常百姓家

实现从零到一亿用户，Netflix用了10年，Twitter用了5年，Instagram用了2.5年，TikTok缩短至9个月，而ChatGPT只用了2个月……在多模态大模型时代，生成式AI技术的应用和影响日益广泛且深远，对普通用户具有强大的吸引力。Isnesmc

Chloe指出，这种飞速发展的背后是强大的AI技术支撑，大模型表达流利，知识广博，推理逻辑思维也突飞猛进，OpenAI o1更是实现System-2思维。更关键的是，大模型简单易用的界面，为每个用户都提供了一个能快速体验的通用平台，使得每一个用户都能畅想未来无限的可能。Isnesmc

在计算技术的演进历程中，从最初的mainframe时代，到如今的AI计算，始终是集中式和分布式计算交替发展的历史。Isnesmc

Chloe认为：“现在，我们正处于AI计算普及的初期，AI基础设施的部署以集中式的云与数据中心为主，以支持大规模的AI训练和数据处理任务。而AI Cloud，或者Token Factory等概念的商务模式也更趋成熟。”Isnesmc

Isnesmc

而就像之前提到的ChatGPT用户数的迅猛增速一样，大模型在边缘落地的速度更加惊人。Isnesmc

AI模型和计算芯片技术的突破，以及对实时响应、成本、用户体验和安全隐私的诉求，让AI算力快速分布到边缘设备。这一趋势最先呈现在智能手机、PC等主流计算平台，通过AI加持的CPU、GPGPU或者NPU，实现对小型语言模型的支持。Isnesmc

展望未来几年，Chloe更期待大模型在新型边缘计算领域的应用，比如说自动驾驶和具身智能（机器人），因为这些技术可以推动千行百业自动化转型，显著提升新质生产力。Isnesmc

AI算力无处不在

AI算力作为一种类似水和电一样不可或缺的基本资源，将无处不在。Isnesmc

Chloe指出，在过去几个关键计算时代，技术变革的影响还主要局限于IT（Information Technology）领域，对OT(Operations Technology)领域的影响还处于探索阶段。Isnesmc

“如今广为人知的物联网（IoT），实际上需要在IT和OT领域都实现与行业用例相结合的突破。” Chloe表示，“但是OT的突破远比IT的突破要难，正如业界许多专家所感慨的——搬动原子(ATOM)比搬动电子要困难的多。只有当我们能够实现AI和我们周围真真切切的物理世界的融合，我们才能释放出AI技术的最大潜能。”Isnesmc

• 比如在制造领域，行业已经从之前的劳动密集型转向了设备密集型，AI大模型技术将有望助力机器人走向通用，让人类从3D(Dirty/Dangerous/Dull)工作中解放出来，迈向真正的“黑灯工厂”时代。
• 又比如在智能家居领域，过去我们需要亲自检查煤气阀，关闭窗户或暖气，而现在可以通过智能手机远程控制。未来，智能家居系统将利用AI大模型融汇多模态输入，根据家人的习惯和喜好，实现近乎全自动的个性化服务。

Chloe总结称，要实现以上的愿景，需要推动从GenAI到物理智能的演进，即AI模型必须处理多模态数据，包括语音、文本、视频、声音、温度等等；同时，还需要实现端到端训练和推理，以确保更快速的实时响应。Isnesmc

Isnesmc

Arm作为世界上最普及的计算平台，也正在承载从云到边各类新兴的AI应用与负载。目前，Arm计算平台正在成为最普及的AI 计算的基础，广泛部署在从云到端的每个数据触及点，包括服务器、存储控制器、智能网卡、边缘设备等，天上飞的无人机，地上跑的汽车……Arm可以让数据及AI处理灵活地部署在最合理的位置。Isnesmc

Chloe强调，高性能、低功耗、强安全，这是Arm计算技术从云到端普及的关键。Isnesmc

Arm赋能边缘AI的三个方向

面向新时代的边缘AI创新，Arm致力于在硬件、软件和生态系统三个方面同步推进。Isnesmc

（1）硬件打造基础优势Isnesmc

随着边与端侧AI推理需求的增长，Arm利用Arm Cortex-M和Cortex-A持续丰富边缘算力，并在最新的Armv9架构的A系列产品中引入SVE、SVE2、SME，以更有效、更便利地处理边缘AI负载。同时，Arm持续增强CPU的矢量以及矩阵处理能力，并推出Arm Ethos系列AI加速器产品，打造高性能产品。此外，面对万物互联和安全的需求，Arm推出Arm TrustZone等技术增强安全，保护敏感数据和操作。Isnesmc

Isnesmc

​2024年Arm新推出的Ethos-U85以及Corstone-320旨在加速AI系统的快速落地，促进未来多模态智能应用的全方位部署。Isnesmc

全新的Arm Ethos-U85：Arm的Ethos-U NPU是世界上首个嵌入式AI加速器，从第一代的Ethos-U55，到最新的Ethos-85，不仅实现了性能与能效上的显著提升，还增加了新的算子和神经网络的原生支持。Isnesmc

据悉，相较于上一代Ethos-U65，Ethos-U85的最高性能提升了4倍，能效提高了20%，适用于高性能边缘AI应用。Ethos-U85不仅仅提供CNN卷积神经网络所需的权重矩阵乘的运算，还支持矩阵相乘，这是Transformer网络的一个基本组成部分。​Isnesmc

Transformer模型凭借其卓越的泛化能力，已迅速成为AI 词元工厂(token Factory)的核心支柱，推动边缘小模型快速演进，多模态趋势日益明显。Ethos-U85凭借超低功耗实现对Transformer的原生支持，实现云边端协同，为Ray-Ban Meta等智能眼镜应用及多模态人机交互等极具潜力的边缘AI应用注入强大动力。Isnesmc

Isnesmc

Corstone-320：全新的Arm智能物联参考设计平台，包含了Cortex-M85——Arm Cortex-M系列中性能最高的嵌入式处理器，以及全新的Ethos-U85 NPU AI加速器。​Isnesmc

鉴于视觉在多模态感知中的关键地位，众多边缘MCU和传感器系统越来越依赖于视觉和图像感知，Corstone-320包括了Mali-C55图像信号处理器(ISP)，旨在打造为视觉应用设计的低功耗系统。​Isnesmc

此外，Corstone-320参考设计提供了经过安全验证的软硬件组合，助力在此参考设计基础上开发的合作伙伴们能够轻松地通过PSA二级认证，确保产品符合地区及全球的安全标准。​Isnesmc

Isnesmc

（2）软件赋予产品灵魂Isnesmc

Arm已成功从专注于芯片处理器IP的公司转型为计算平台公司，其成功的关键之一就是拥有强大的Arm软件生态。Isnesmc

据Chloe介绍，Arm计算平台汇聚了超过2000万名开发者，构成了全球最大的开发者生态系统。开发者们之所以青睐Arm，一方面是因为基于Arm架构设备的普及率极高，几乎人手至少一台。另一方面，在Arm平台上开发的软件能够覆盖到数十亿、数百亿乃至数千亿的设备，几乎触及全球每一个人。这种庞大的软件数量进一步推动了硬件资源的需求和性能的提升，形成了一个良性循环。简而言之，Arm的宗旨是实现软件的“一次开发、广泛部署”。为此，Arm在构建一致的计算平台方面投入了大量的软件资源。Isnesmc

“这也是Arm KleidiAI的出发点：KleidiAI衔接主流AI框架和Arm计算平台，通过底层优化，使应用开发者无需额外工作，就可以充分释放Arm计算平台所能提供的AI加速功能和性能。”Chloe提到。Isnesmc

这意味着，当Llama或MediaPipe推出新版本时，开发者可以确信他们的App将与“模”俱进。无论是在云端还是边缘端，开发者都能在Arm平台上获得无缝的大小模型支持和显著的AI性能提升。Isnesmc

（3）生态系统是Arm成功的核心关键Isnesmc

促进边缘AI的繁荣需要整个生态齐心协力。当前，越来越多的软硬件伙伴正汇聚于Arm计算平台。Isnesmc

Arm携手合作伙伴，在机器学习(ML)开发流程的每一步中提供全面的支持与价值，强化了开发者在从概念构想到部署实施的全过程能力。在数据采集分析以及ML训练阶段，Arm则依赖开源社区以及合作伙伴的方案来产生训练好的模型。Isnesmc

Arm的ML软件和工具专注于协助模型评估、优化、转化与编译，以及针对硬件的优化，致力于在多种边缘计算与智能物联应用场景中，提供卓越的性能和效率，进一步巩固了Arm在 AI领域内的价值和地位。Isnesmc

鉴于边缘AI用例的多样性与复杂性，开发环境、模型及工具均呈现出显著的差异性。为此，Arm构建了一个广泛且活跃的生态系统，旨在简化边缘AI的开发流程，降低入门门槛。Isnesmc

Chloe分享道：“Arm最近与Meta合作，通过KleidiAI实现与PyTorch以及PyTorch推出的新一代设备端推理runtime、ExecuTorch的整合优化，使边缘大模型可以顺畅优化地跑在Arm CPU上。ExecuTorch也正在扩展到Ethos-U NPU边缘AI加速器以及大家熟知的Arm Cortex-M CPU上。”Isnesmc

Isnesmc

小结

人工智能的普及，特别是大模型和生成式AI的迅猛发展，为边缘AI和智能物联网生态系统的伙伴们带来了前所未有的发展机遇。Chloe深信，凭借Arm深厚的经验和领先的技术广度，Arm能够最有力地支持其合作伙伴们拥抱边缘AI机遇。Isnesmc

​“这些持续投入使Arm成为全球最广泛的AI计算平台之一，吸引了越来越多的开发者加入，而Arm也将与生态伙伴们携手并进，共同探索并释放前所未有的AI规模潜力。​”Chloe展望道。Isnesmc