有种图像传感器存在感很弱，但十年内会吃掉9%的CIS市场

图像或视觉传感器这两年一直都是热门领域，即便其应用场景支撑力之一的手机市场表现平平，还有华为被“拉黑”、新冠疫情爆发等干扰因素存在，这块市场近2年的总体发展仍然相当有看头。sxFesmc

不过当前我们关注的图像/视觉传感器主流，还是比较常见基于帧（frame-based）的图像传感器。EE Times美国和中国版此前刊发过不少文章谈基于事件（event-based）的视觉/图像传感器——从市场来看，这还是个新兴领域。不过基于事件的视觉技术，或者叫神经形态视觉技术（neuralmorphic vision technology），其实发展年份也不算短了。sxFesmc

1991年最初有人提出silicon retina（硅视网膜）模仿人眼神经结构之后，基于事件的视觉技术研究其实就逐渐变得多样。sxFesmc

可能大部分读者对基于事件的视觉感知技术还很陌生，不过这种技术现在是CVPR这类视觉技术峰会的常客。今年年中的CVPR上，大约有15篇paper都是在谈基于事件的视觉技术。sxFesmc

这个领域比较有代表性的公司如Prophesee、iniVation，这两家公司分别是在2014、2015年成立的，到如今也有6、7年的历史了。此前我们采访Prophesee CEO Luca Verre的时候，他也谈到基于事件的视觉技术发展并不是现在才开始的，只不过如今开始步入到了成熟期，对商用真正具备了价值。这两年Prophesee在国内的市场动作正变得频繁，这也可能是基于事件的视觉技术成熟的某种体现。sxFesmc

10年市场预期

有关基于事件的视觉技术本身，并不是本文要谈的重点，此前我们也花了不少篇幅来介绍这类技术。简单来说，基于事件的视觉/图像传感器，所有的像素是相互独立、异步的，每个像素仅在感知到外界有亮度上的变化（达到一定阈值）时，才会输出；应用这种技术商业企业的宣传普遍说，其等效帧率因此达到了10000fps。sxFesmc

本质上这类图像传感器的特点，就是仅在检测到外界的运动变化时才会记录信息，且不记录静态信息。其主要价值大致上有几个，其一是超低延迟，其二是不存在动态模糊，其三高动态范围，以及超低功耗。另外对后端而言还有些附加价值，比如说产生的数据量，比一般基于帧的技术少很多。sxFesmc

sxFesmc

像这样的视觉/图像传感器，用来拍照肯定是不行了。但其特性决定了，它格外适用于高速避障、ADAS/AV，以及更多工业领域的视觉感知应用。就市场来看，这的确是个新兴应用领域。sxFesmc

一般我们要观察某一种技术是不是真的具备发展潜力，无非也就是看参与这项技术商用的企业发展情况，以及市场分析机构的预测和报告。sxFesmc

其实市场分析机构此前都没怎么提过基于事件的视觉技术，不过在今年7月，IDTechEx比较罕见地在图像传感器技术10年报告中，提到了基于事件的视觉技术——IDTechEx预计基于事件的视觉传感器芯片，未来10年会达成每年2000万美元的市场规模。他们将目前的市场称作“pre-revenue status”。sxFesmc

IDTechEx提市场发展动因，主要就是在谈基于事件的视觉感知技术的几个优势，包括仅检测场景的动态变化，后续数据处理更简单，数据传输和处理的量显著减少；高动态范围，也就意味着画面中的高亮度溢出情况显著减少，而且夜晚超低照度的场景也没问题等等；很高的时间分辨率——也就是所谓达到等效10000fps的帧率（如果按照基于帧的角度思考的话）。sxFesmc

基于事件的视觉感知技术虽然是没有“帧”的概念的，但因为后端传统算力平台的限制，系统仍然会有个“时间分辨率”，只不过这个时间分辨率会显著高于传统基于帧的方案（比如传统视觉/图像传感器60fps/120fps的时间分辨率）。sxFesmc

这家机构预测的市场应用也在于自动驾驶、ADAS、无人机的避障、导航。不过“这些市场仍然需要大量软件开发和数据收集工作，来完整地利用基于事件的视觉数据”；“因此IDTechEx相信，具备更具可预测性的输入数据的那些更小的市场，比如说AR/VR的虹膜追踪、激光扫描（profiling），会成为基于事件的视觉技术最早的应用。”sxFesmc

sxFesmc

Prophesee今年也援引过一份Yole Developpement的市场预测数据。Prophesee公布的这份数据在量级上看起来会更激进一些，如上图所示。预计到2030年，在AI计算与感知市场，神经形态AI会占到8%，规模70亿美元——这应该不只是说的基于事件的视觉技术；2035年则会增长到18%。sxFesmc

sxFesmc

而基于事件的视觉传感器，在整个CIS（CMOS图像传感器）市场上的份额，预计到2030年会达到9%——如上图所示。从其应用构成来看，似乎从2023年开始，“Mobile”就会成为其中的主力。其他应用还包括IoT、工业、监控、汽车。在“Mobile”手机市场的渗透预测，还是有些出乎我们意料的。sxFesmc

市场在探索中成长

前两年，三星申请了Dynamic Vision Sensor商标，主要应用于移动和平板——动态视觉其实是基于事件的视觉感知技术的另一个名字。iniVation也将自家的技术称作动态视觉。iniVation预设比较早的市场应用是工业视觉应用——这和Prophesee的认识类似。我们以前在谈工业4.0的时候，经常提到工厂生产的预测性维护（predictive maintenance），还有高速生产检测等，动态视觉平台据说就能实现高速3D基础设施检测。sxFesmc

前不久Prophesee在谈自家传感器的应用时，其实也提到了工业领域，这类方案可感知震动频率、幅度，进行非接触性震动检测——比如对大型设备设施震动做长期观察；甚至弧焊引导——因为基于事件的视觉传感器动态范围很大，焊点太亮也没问题，依然可以引导焊头位置走向。sxFesmc

这些应用其实都是基于事件的视觉技术低延迟、高动态范围、高时间分辨率的体现。此前iniVation CEO Kynan Eng在接受EE Times美国版采访时曾提到，工业视觉是相对低风险，但市场规模不大的应用方向。iniVation前年和三星合作，开始向机器视觉行业销售完整的摄像头——从单纯出售芯片到更偏系统的发展。这是典型的市场参与者寻求价值扩大和探索。sxFesmc

iniVation认为，和三星这类CIS市场的巨头合作能够扩大其传感器产品在机器视觉领域的应用范围，将其扩展到更多的市场上，比如说食品、包装、消费电子、汽车等。sxFesmc

其实Prophesee此前和索尼合作，一起推出堆栈式（stacked）基于事件的视觉传感器，在市场上是更加广为人知的。Luca Verre告诉我们，Prophesee和索尼合作推出的已经是Prophesee推出的第四代视觉传感器产品了，主要是结合Prophesee基于事件的视觉感知技术，外加索尼的背照式+3D堆栈生产工艺，让基于事件的视觉传感器像素尺寸第一次做小到了4.86μm。这也算是基于事件的视觉，在技术上的探索了。sxFesmc

sxFesmc

Prophesee的视觉传感器sxFesmc

不过Prophesee预期中，未来10年基于事件的视觉感知技术将会大规模应用在移动市场上，这一点其实有些令人困惑。因为这类传感器并不能直接用于拍照、摄影。Kynan Eng说要说服手持设备制造商，将这样的传感器放到手机里面去。“这对于高速变化的感知很有帮助，虽然可能很多人就只是想用手机自拍、拍摄食物而已。”sxFesmc

Luca Verre前不久在媒体沟通会上列举的应用实例，包括帮助“改善手机拍照的质量”。因为一般基于帧的图像传感器受制于曝光时间，画面中的高速运动对象会出现运动模糊。而基于事件的视觉感知技术有着很高的时间分辨率，前文就提到了它无惧动态模糊，所以将基于事件的摄像头与传统RGB摄像头配合，就能实现运动伪像的消除。sxFesmc

不过我们还没有亲身看到过这种应用，不了解其实际效果如何。因为两种技术的结合，在成熟应用上也需要完善的算法。许多应用虽然理论上行得通，但实际操作难度甚大。Luca Verre说Prophesee本身会提供这样的算法。不知道未来1-2年会不会看到这样的摄像头在手机上问世。sxFesmc

sxFesmc

Speck摄像头模组sxFesmc

市场调研机构Yole分析师Pierre Cambou去年说，这类技术在“移动市场的窗口期会是2021或2022年。华为手机上有5颗摄像头，但却还没有看到always-on（总是开启状态）的神经形态摄像头。很多人常谈到多光谱技术，但我一直在想的是实时感知能力（always-on awareness）。”sxFesmc

早在2019年，aiCTX和iniVation共同发布了一款名为Speck的低功耗神经形态SoC，主要面向手机和IoT市场。整个芯片包含了视觉传感器+卷积神经网络处理器。其目标应用场景，就是以超低功耗达成always-on总是开启状态的响应。sxFesmc

不知道类似预防运动模糊，以及始终开启的视觉感知能力，未来在手机应用领域，会不会成为基于事件的视觉传感器的杀手锏。我们认为，始终开启的视觉感知能力在手机设备上可能会是个很重要的方向——它能实现大量玩法，比如手机息屏状态下超低功耗的环境感知能力。这两年可能就要见分晓。sxFesmc

sxFesmc

近2-3年的关键市场发展期

在汽车领域，“因为我们的传感器始终开启，因为低延迟和不是基于帧的特性，能够只检测相关ROI，利用这样的信息来补充其他各种技术，比如激光雷达。”其实在汽车应用上，Prophesee此前列举的一个应用就是将基于事件的视觉感知，与激光3D Point Cloud扫描做配合，同时利用激光的精度与基于事件感知技术的速度，让后者的传感器去追踪激光，并对扫描到的内容做3D建模，来分析路况。sxFesmc

这种技术已经应用在一种名为VoxelFlow传感器技术上，是Terranet AB和奔驰一起开发的，其中的传感器就是来自Prophesee。Prophesee上次发布消息是有关新一轮融资的，获得C轮融资的资方背景包括小米、豪威等，还是能够一定程度表明市场的主流参与者有将目光投向这种技术。虽然对投资行为而言，广撒网一直是个常规。sxFesmc

Kynan Eng此前也提到了汽车应用，表达低功耗、低数据量对于提升汽车自动驾驶能力的价值。Yole对于神经形态计算市场的预测是，五年内达到6900万美元市场规模，2029年50亿美元；其中神经形态感知市场2029年达到20亿美元——虽然可能不只是基于事件的视觉传感器，不过这个预测量级还是远大于IDTechEx的。sxFesmc

这2-3年可能将是考验Prophesee、iniVation这些公司发展的关键，也是基于事件的视觉感知技术最终能否成为主流的关键。所以我们也不难看到Prophesee这类企业在中国国内开展更多的市场活动。基于事件的摄像头这两年会不会出现在消费电子产品之上，可能也是这个市场是否会如统计机构预测的那般做大的关键，我们也将持续做这方面的观察。sxFesmc