AI乃至生成式AI向边缘设备的迁移,曾一度引发广泛疑问:倘若云端或数据中心已然具备卓越的AI推理性能,且其性能远超边缘设备,那么,为何我们仍需部署边缘或端侧AI?
AI乃至生成式AI向边缘设备的迁移,曾一度引发广泛疑问:倘若云端或数据中心已然具备卓越的AI推理性能,且其性能远超边缘设备,那么,为何我们仍需部署边缘或端侧AI?meSesmc
直到我们发现汽车ADAS/AD决策必须讲究实时性,否则避障决策从云发到车上,即便决策精度再高,1秒响应时间足够发生车祸了。工业生产制造的操作安全亦如是,不讲究实时性的AI决策无论如何都会造成生产损失,不必谈预测性维护解决方案有多智能。meSesmc
而曾被我们认定实时性要求不高的生成式AI,实则也在落地过程中发现了高实时性要求的应用场景:比如AI PC上的游戏教练助手——这类AI助手通过录屏、检测画面,藉由AI CV(计算机视觉)识别,以浮窗的方式给出玩家指导与辅助,已经在一些竞技类游戏及赛事训练中使用。meSesmc
这是一个典型的对实时性有要求的生成式AI应用场景。在交互性强的游戏场景中,几乎无法通过云AI来完成整个流程,更不用说当“生成式AI”不仅涉及文字、图片的生成,还扩展到机械臂动作、脑波等的生成时,问题将变得更加复杂。meSesmc
因此,边缘AI是真正具备了价值的。IIC Shenzhen 2024活动上,TI(德州仪器)嵌入式处理高级副总裁Amichai Ron在主题演讲中表示,边缘AI让算力和数据源更加靠近,在设备端而非云端做决策。meSesmc
“将智能带到芯片上,这关乎响应速度、功耗和数据隐私,以低延迟做出实时决策。”“系统需要在微秒级时间内做出决策,拯救生命。”Amichai说,“就像无线连接已经是我们日常生活的一部分,边缘AI也会持续扩散,进入到越来越多的应用中。”meSesmc
边缘AI近两年都是技术或市场趋势热词。“边缘AI是指,在云上设计和训练能够运行特定功能的模型,并使用神经网络引擎在嵌入式设备之上执行该模型的能力。Amichai如此定义边缘AI。meSesmc
或许更多企业有关边缘AI的定义是将AI模型的本地执行能力扩展到了一切非数据中心的边缘与端侧,包括手机、PC、汽车、机器人、家电、AIoT,以及工业、医疗、零售等各行各业的边缘嵌入式设备,乃至企业为生产制造而设立的边缘高算力设备或集群。meSesmc
英特尔、英伟达这类市场参与者对“边缘”的定义就可能与TI、瑞萨等不同。所以笔者更愿意将“边缘”的范围,扩展到一切行业的边缘。但无论如何,边缘AI强调的都是在算力和扩展能力有限的本地进行AI模型推理的技术。meSesmc
meSesmc
图1:机器人也是典型的工业边缘应用meSesmc
从这样的定义来看,早在2018年甚至更早,在边缘或端侧执行AI运算就已经不新鲜了。只不过当年还不流行“边缘AI”和“TinyML(指在超低功耗、资源受限的微型设备上进行机器学习的技术)”的说法,顶多是“边缘计算”及“AIoT”。当年英伟达的股价还在5美元上下波动,生成式AI也尚未爆发。那么这两年兴起的“边缘AI”一说,是对当年旧概念的热炒吗?meSesmc
2024年进博会上,瑞萨电子全球销售与市场副总裁、瑞萨电子中国总裁赖长青在接受《国际电子商情》采访时提到了3个挺有说服力的差异:(1)当代边缘AI技术比以前明显更成熟;(2)AI覆盖应用范围变得更广;(3)边缘开发范式的转变。这是前些年我们谈AI都还不会涉及的问题。meSesmc
在技术成熟度上,“包括感知、通信、电机控制、人机界面、安全等关键技术”都和以前不同。随之而来,这波AI技术发展也就“催生了更大的市场”。“智能家庭、汽车自动驾驶、智慧城市等等,应用变得越来越广泛”,AI在边缘实现了“深度和广度的普及”。meSesmc
对于嵌入式开发范式发生改变,“传统的嵌入式工程师,其设计还是基于原有规则的。而人工智能是基于数据做设计。”赖长青谈到。也就是说越来越多的嵌入式设计和算法,从规则驱动走向了数据驱动。meSesmc
另一个能够更务实地体现这一轮边缘AI与上一轮AIoT差异的,还在于近两年AI MCU的涌现——虽然这并非边缘AI实施的唯一芯片类型:包括瑞萨、英飞凌、TI在内的企业都在热推自家的AI MCU,不仅是MCU+DSP/NPU这类加速模式,还在于IP供应商正从扩展指令层面实践CPU的AI加速,且已经在上市的AI MCU中得到体现。meSesmc
很难想象的是,当代的微控制器已经可以凭借一己之力、在完全不需要额外加速器的情况下,处理摄像头捕捉到的视觉数据,检测画面中的对象且达到可观的帧率。meSesmc
考虑更大的“边缘”外延,笔者认为在赖长青阐述的这3点以外,可以再加一个“(4)生成式AI或将在边缘焕发活力,且不仅是PC、手机、汽车这类算力资源比较充沛的边缘,还在于嵌入式应用”。这一点将在下文做更详细的阐述。meSesmc
更具体的边缘AI应用案例在《国际电子商情》的历史文章中能大量见到。举例来说,中信泰富铁钢集团就已经在其生产工艺中采用AI技术,比如说预测高炉的内部工作,实时优化工艺参数,增加了15%的吞吐,降低了11%的能耗。这也是相较数年前的AIoT无法达成的当代行业边缘AI应用典型。meSesmc
以上大概是从半导体领域观测到的、属于边缘AI的具体现象。接下来,我们有必要深入到行业和应用,相对宏观地理解这一轮“边缘AI”和上一轮“AIoT”热点的本质差异。meSesmc
罗列任何研究机构的市场价值数字都无法表达真正的市场潜力:来看一些更具体的数据。在2024年初的市场趋势文章中,麦肯锡(McKinsey & Company)将AI形容为第四次工业革命。当然这个形容方式本身没什么了不得,因为这些年被称为“第四次工业革命”的技术实在太多了。麦肯锡提供的数据是,过去20年美国制造行业下滑1.4%。meSesmc
但在AI、数字技术、可持续发展大趋势及更高技能水平的加持下,市场在过去5年中又重新焕发了活力。相比之前的15年,美国工业企业这五年创造了更多400个基点的股东收益。meSesmc
而麦肯锡的研究网络GlobalLighthouse Network明确了促成这“第四次工业革命”的两大要素。其一是机器智能技术已经达成前所未有的成熟度。这里的机器智能尤指AI,让机器能够在虚拟和物理世界中进行生产,赋予其可执行复杂任务的特定智能。其二是全球领先的企业机构不再像以前一样,仅在个别用例上尝鲜新技术,而是以整个工厂或工厂集群为单位进行前沿技术的扩充。meSesmc
或者说麦肯锡的批量研究对象已经在工厂级乃至跨工厂部署AI技术,而不再停留于先期小规模试验和验证了。以更前沿的生成式AI为例,这些工厂都至少在流程中试行1个生成式AI应用;其中某些能够在以天或者以周计的周期内对生成式AI用例做实施、测试和迭代。具体到麦肯锡定义的第四次工业革命系统性先进用例实施,绝大部分企业所需时间<6个月,30%则少于3个月。meSesmc
之所以能够在如此短的周期内完成新技术部署和迭代,是因为既有基础设施构建已经在上一阶段完成,包括必须的数据、技术基础设施、人才储备及灵活的运营模型。meSesmc
本文不打算花笔墨在AI具体做了些什么的问题上,而且麦肯锡针对AI在工业生产制造之中的研究实际上并不只是关乎边缘AI的问题。但我们有必要看到这一轮市场在谈边缘AI,及上一轮AIoT话题差异的本质。即技术革新,尤其是上升到“工业革命”程度的技术革新往往是个漫长的过程。meSesmc
meSesmc
图2:第四次工业革命的S曲线;来源:McKinsey & CompanymeSesmc
每次大型技术革命总是呈现出进度的“S曲线”。麦肯锡认为,在技术发展初期,市场要先经历“学习”曲线阶段——这个周期可能会很长,伴随各种试错,也需要先行者去解决各种实际问题。meSesmc
而到了下一阶段进入到曲线的“实施(Doing)”部分,则建立在基础技术已经建立,企业组织开始在生产网络中对其进行部署的基础上。最后还会进入到“优化”曲线阶段,此时行业会开始对技术做对齐:标准、协议细节化,技术实施成本持续稳定。meSesmc
麦肯锡根据第四次工业革命扩散的S曲线模型研究发现,全球灯塔网络(Lighthouse Network)中的先驱企业在技术演进中呈现显著特征。这些企业2018年就处在AI驱动的第四次工业革命“学习”曲线阶段,而今年已经进入到“实施”阶段后期,所以在麦肯锡的描述里能够相对快地在工业生产过程中构建或部署AI用例。meSesmc
我们理解这也是不同时期,市场在对待AI技术时赋予其不同名词称谓的内在逻辑。即便对于绝大部分企业而言,或许还远未走到Lighthouse所在位置——甚至他们中的绝大部分还将经历“学习”阶段的一段倒退和试错期(ScalingSlump),毕竟要让一项新技术扩展到整个生产网络面临着各方各面的挑战。meSesmc
而现在渡过了这一时期的市场参与者将会真正意义上地定义整个行业,乃至率先设立技术标准,就像当年六西格玛(Six Sigma)概念那样。meSesmc
2024年11月份的英特尔新质生产力技术生态大会上,面壁智能谈到过所谓“模型知识密度”的概念,即模型能力÷模型参数。在此概念中,在模型参数量级不变的情况下,每8个月模型能力就会提升一倍。据说当前一个20亿参数规模的模型,就已经可以达到前些年1,700亿参数GPT-3的水平。meSesmc
将这一趋势与晶体管尺寸微缩的摩尔定律放在一起,两条趋势相反的曲线在某一点上相交,则意味着在给定更为有限的算力之下,能完成更复杂的功能。这在我们看来是大模型走向边缘的理论依托:即不单是摩尔定律、加速计算持续发展并提升算力,而且AI模型及算法本身也在不断优化。meSesmc
最终不只是AI PC、AI手机、AI机器人,以及更多行业边缘能跑生成式AI,低功耗嵌入式应用也将获得生成式AI技术加成,且已经有面向边缘的AI芯片理论上能够以低功耗实现SLM(小语言模型)推理。这让我们看到了边缘AI的更多可能性。meSesmc
meSesmc
图3:AIoT到边缘AI的进化论meSesmc
最后仍以Amichai的主题演讲对边缘AI的价值做结:“在工业系统中,边缘AI能够实现预测性维护,让系统更稳定、高效,具备成本效益。”比如对太阳能系统而言,“藉由边缘AI进行错误检测,发现电压浪涌、在问题出现之前就关闭系统,提升太阳能板的安全性。这对太阳能板的广泛采用很重要,也间接提升了可持续能源技术的普及率。”meSesmc
如我们2023年对边缘AI的定义那般,边缘AI是全社会数字化转型走向高级阶段的写照。所以在《国际电子商情》的2025市场趋势总结里,笔者也将边缘AI作为重要议题做了展开:边缘AI也将半导体全行业的潜在增长点长期存在——即便或许在下一个5-10年,它可能会因为进入S曲线的新阶段而以另一个新名称出现。meSesmc
微信扫一扫,一键转发
关注“国际电子商情” 微信公众号
继苹果、台积电、英伟达等企业之后,韩国现代汽车宣布大额投资美国制造。
一场输不起的豪赌。
国际电子商情》从半导体产业链的上下游出发,梳理了中国半导体产业的国产化进程。
国际电子商情讯,日前,国家大基金二期投资了上海精测半导体技术有限公司(以下简称精测半导体)。至此,近一年以来,国家大基金二期至少已投资5家半导体设备厂商。
市场传言称金额达数亿元。
半导体产业本身是一个需要国际合作且产业链条极长的行业。一颗在美国设计的芯片,最终销往中国,从原材料到成品芯片,可能涉及大约10个国家和地区:有的负责提供材料和解决方案,有的
最后,请用一句话寄语“国际电子商情40周年”。
1985年,《国际电子商情》应运而生。
RISC-V与汽车的结合将成为兵家必争之地。
早在2024年Q3,文晔科技的营收就已经超过艾睿电子。去年Q4笔者有发文表示,“2024年度的分销商营收排名将发生较大变化”。
进入2025年以来,短短2个月内,从8英寸碳化硅合资工厂通线,到企业赴港IPO,再到12家相关企业获得近30亿元融资,国内SiC企业在碳化硅赛道上丝毫没有停下来的意愿。
会做饭、会做家务,会唱会跳,还是个小医生……养老机器人离我们的生活不远了!
最近市场出现一些半导体并购案例,是不是盼望已久的并购春天要来了?
根据TrendForce集邦咨询最新调查,2025年第一季下游品牌厂大都提前出货因应国际形势变化,此举有助供应链中DRAM
三星电子近期释出强烈信号,计划透过积极的并购战略重振公司发展。
Microchip此次出售的决定与企业面临的市场需求变化密切相关。
Micro/Mini LED、车用LED、农业照明和UV / IR LED市场等领域仍保持增长。
当地时间3月18日,被称为“AI界春晚”的英伟达“GTC 2025”正式开场。
近日,2025年深圳市政府工作报告全文发布,其中集成电路被多次提及。
春节假期后,手机面板市场正式步入传统淡季。尽管“国补”政策带动终端热度延续,但因渠道库存仍在高位,第一季度
美通社消息,3月14日,“2025英飞凌消费、计算与通讯创新大会”(ICIC2025)在深圳举行。本届大会汇聚600多位业界精
近日,湖南省工信厅发布了《2025年湖南电子信息制造业重点项目名单》,涵盖先进计算、音视频、新一代半导体、人
3月15日,质鼎集团公众号消息,惠科东莞平板显示集群电子商务项目二期正式开工。
富士康、台积电、广达、华硕、联发科、友达光电等中国台湾20家电子企业2024年第四季度和全年财报汇总。
驱动工业自动化智能化升级,打造多场景视觉感知融合应用
高功率密度模块使大型望远镜能够追溯宇宙历史。
David Sheridan博士在接受《电子工程专辑》的采访中提到,SiC技术的成熟与电动汽车的普及几乎是同步进行的。
TE对于道德、合规和治理项目的承诺持续获得道德村协会的认可
德州仪器近日推出了全球超小型 MCU,进一步扩展了品类齐全的 Arm® Cortex®-M0+ MSPM0 MCU 产品组合。
创新是企业持续发展最大的价值。
“闪迪(Sandisk)又回来了!”在3月12日的存储年度盛会CFMS MemoryS 2025上,闪迪公司全球产品副总裁Eric Spa
摩尔斯微电子推出合规的Wi-Fi HaLow片上系统(Soc),开启欧洲连接技术新纪元。超低功耗、远距离连接功能现已为
CFMS | MemoryS 2025已圆满落幕,期间包括三星电子、长江存储、铠侠、美光、闪迪、高通、Arm、慧荣科技、S
Hyperlux™ ID iToF 系列将深度测量距离提升至最远 30 米,提高工业环境中的生产效率和安全性
26TB大容量CMR HDD助力WD Red Pro与G-DRIVE/G-RAID系列专业级产品矩阵,赋能数据存储拓展与生产力跃升
全新一代MCU可以满足各种区域控制架构和电气化系统需求,助力汽车制造商向软件定义汽车(SDV)过渡。
将出色的高
点击查看更多
北京科能广告有限公司深圳分公司 版权所有
分享到微信
分享到微博
分享到QQ空间
推荐使用浏览器内置分享
分享至朋友圈