iPad Pro那颗3万像素LiDAR有何玄机？

3月18日，苹果公司在其官网公布了2020款11英寸与12.9英寸iPad Pro。最新款iPad Pro均搭载A12Z Bionic芯片与6GB运行内存，拥有128GB/256GB/512GB/1TB四种容量和银色、深空灰色两种颜色。Vikesmc

这一代iPad Pro 2020总体来说算是硬件规格上的小改，就连A12Z都可以认为是不同体质版的A12X。不过它在后摄上加入了一枚传说中的LiDAR激光雷达，苹果明确宣称这是一颗采用dToF技术的深度感知模块。需要明确的是，LiDAR就是一种采用ToF（Time of Flight）技术的3D感知应用，一般来说车载激光雷达多见dToF方法——后面我们将详述这种技术的本质。Vikesmc

TechInsights对外公开的拆解数据显示，这枚LiDAR所用的传感器像素阵列的分辨率是3万像素，尺寸4.18 x 4.30mm，单像素尺寸10μm，供应商是索尼[1]。这其中有几点是比较令人在意的，包括dToF技术、索尼的ToF图像传感器。Vikesmc

Vikesmc

iPad Pro 2020的LiDAR内部，来源：TechInsightsVikesmc

虽然早在iPad Pro推出之际，就已经有许多媒体都提到，iPad Pro 2020采用的LiDAR接收端传感器，很可能是索尼或意法半导体的方案，TechInsights的拆解则坐实了索尼作为供应商的说法。但实际上，就已公开的资料来看，索尼并没有公开在售的dToF方法相关技术，当然并不排除其中存在的各种合作，或者索尼研究的新技术率先给苹果使用：这在以往也并非新鲜事。Vikesmc

事实上索尼虽然是传统摄像头CIS（CMOS图像传感器）业务的霸主，但这家公司过去并没有3D感知传感器方面的市场参与度。不过索尼2015年宣布收购一家比利时公司SoftKinetic：2017年这家公司改名为Sony DepthSensing Solutions（索尼深度感知解决方案）[2]。2019年，索尼的ToF传感器正式起步，索尼在3D感知传感器市场上，一跃成为市场份额达到45%的市场参与者。Vikesmc

索尼以往就有为苹果产品单独定制CIS图像传感器的传统，似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用（更具体地说，是一种cwToF，即连续波ToF方法），而不是dToF[4]。索尼当前比较知名的IMX556深度感知ToF传感器，单像素尺寸的确是10μm，但分辨率却有30万像素。Vikesmc

另一方面，意法半导体的SPAD传感器（通常应用于dToF技术的一种传感器）倒是很知名，但意法的这类传感器更着重于单点的距离检测，而并不在3D成像与感知应用上——虽然意法半导体的确有能力制造这种传感器，而且3D感知应用似乎也已经在计划表中，这一点我们也将在后文详述。这就让iPad Pro的这枚LiDAR多了一丝神秘的味道。Vikesmc

Vikesmc

iPad Pro的LiDAR宣传图，很显然这张图表达的一个是发射端，一个是接收端，来源：苹果Vikesmc

苹果iPad Pro的dToF有先例？

针对上述问题，我们再展开来说一说，包括其中的各种概念，比如dToF、iToF、cwToF是什么，SPAD传感器又是什么，便于感兴趣的各位做更深入的分析和探讨。这篇文章或许无法解答一些问题，但期望通过对这些问题的探讨和呈现，引起更多的思考，及便于我们进行后续的研究和总结。Vikesmc

ToF技术近两年知名度在消费市场上骤升，很大程度上要归功于华为、vivo、OPPO、LG之类的品牌，都纷纷在其手机产品中开始采用ToF 3D感知技术。比如说华为P30 Pro，前置的ToF模块开始支持用户做隔空手势操作：在烹饪、吃饭这类不方便用手指直接接触屏幕的场景下，通过隔空手势就能完成翻页、滚屏之类的交互操作。Vikesmc

但事实上，很多消费用户不知道的是，ToF技术在手机产品中的应用要早得多，且普及程度还非常之广。自2014年开始，大部分旗舰手机的距离传感器（或接近传感器）都已经开始应用十分完整的ToF技术和硬件模块；iPhone 7也是苹果产品家族上，首次在距离传感器上采用了ToF技术的一款手机。Vikesmc

距离传感器也就是应用在手机前面板上，当用户接打电话、耳朵靠近屏幕时，屏幕就通过这枚距离传感器来自动息屏；当然距离传感器还能参与更多体验改善的功能特性。早年手机上的距离感应并不可靠，原因是早年的方案仅通过一枚简单的光电二极管，以光强度级感应来模拟这种距离感应。Vikesmc

Vikesmc

在魅族Pro 6、LG G5、华为P9等手机上普遍存在的意法半导体VL53L0B，来源：TechInsightsVikesmc

2014年，TechInsights的拆解显示，黑莓Passport、LG G3等手机的前置光学模组开始采用一种三合一的方案，即意法半导体的VL6180。这是一颗融合了距离传感器、环境光传感器、VCSEL（垂直腔面发射激光器）的光学模组。其中的距离传感器所用的就是SPAD（单光子雪崩光电二极管）阵列[3]。次年1月，意法半导体又发布了二代的VL53L0，开始广泛应用于当年的智能手机。Vikesmc

从结构来看，这里的距离感应方案，就是ToF技术的完整形态：即由VCSEL激光器首先主动发射红外光，在光子碰到障碍物对象（如凑近手机的耳朵或人脸）时返回，并由SPAD传感器接收到。在这个过程里，会有某种“计时电路”用于计量光从发出到返回全过程消耗的时间，那么在光速已知的前提下，就能精确地测得该对象到手机的距离——这就是ToF技术的一般原理。Vikesmc

Vikesmc

更准确地说，此处是由VCSEL发射端发出一个激光脉冲，接收端的SPAD传感器可以接收到反射的脉冲信号，通过计量时间即可测得距离信息。这就是dToF（直接ToF）方法的基本原理。意法半导体是dToF方法，在手机应用上耕耘比较久的一家厂商。实际上从2015年开始，手机几乎已经彻底铺开了这种利用dToF方法做前置单点光学距离检测技术。与此同时，后置摄像头的激光辅助对焦，利用的也是这种技术。Vikesmc

iPad Pro 2020在宣传上也提及后置LiDAR模块采用dToF方法。不过很显然，这两年ToF的应用已经不限于单纯的单点测距（以及环境光检测、接近检测、多区域检测等），而扩展到了由多点构成的3D成像与感知：即通过很多光点的发射与返回，感知整个场景的3D深度图，甚至实现3D视觉。Vikesmc

SPAD传感器与苹果多年前的专利

dToF是ToF实现方法中的其中一种，另一种就是iToF（间接iToF），有关iToF的部分我们后文再说。而dToF至少就原理来看还是比较直接、简单的，而且这种方法的收益也比较大。dToF基于脉冲调制光，工作周期可以比较短，即便采用更高的峰值输出功率，也可以兼顾人眼安全，探测距离也就能够比较远（这一点也相对适用于iToF中基于脉冲的pToF方法），同时还能兼顾相对比较好的测量精度[4]。加上dToF方法还具备可很大程度避免多径干扰（multipath effects）的问题，运动伪像对dToF产生的影响也比较小，看起来dToF理论上更理想。Vikesmc

不过实际上，dToF的实施难度要比iToF明显更大，虽然听起来其原理更简单。从ToF的实现原理来看，不难发现一个完整的ToF模组至少要包含发射端和接收端：发射端的主要部分就是光源（消费类ToF模组以VCSEL激光器为主），接收端的主体当然就是ToF图像传感器了。很容易想见，对于普通的p-i-n光电二极管来说，要直接、准确地测定光的“飞行时间”还是有相当难度的。它对于发射端的光源、接收端的光电探测器（即传感器），实现同步、时间检测相关电路都有着很高的要求。Vikesmc

dToF方法对于接收端的技术相对严苛，毕竟这种方法对时间抖动要求原本就很高：因为它接收的是一个脉冲信号，这就要求光电探测器的敏感度很高（以及快门时间窗口与脉冲信号的同步）。所以dToF方法所用的图像传感器常见APD（雪崩光电二极管），相比传统图像传感器的光电二极管，这种光电二极管有着明显更高的增益和量子效率，能够实现电子倍增（就像雪崩一样），或者说有着显著更高的敏感度。Vikesmc

Vikesmc

传统图像传感器光电探测器结构与APD图像传感器的比较，来源：PanasonicVikesmc

除了APD之外，dToF中另外应用比较广泛的就是前文提到的SPAD（单光子雪崩二极管），它可以理解为比APD更敏感的一种结构，一个光生载流子就能触发大量雪崩电流——这两者都利用入射辐射触发p-n结的雪崩电流，不过SPAD设定了一个高于击穿电压的反向偏置电压，二极管可工作在所谓的Geiger-mode模式下。Vikesmc

另外SPAD通常采用像素内TDC（time-to-digital converter），能够直接产生数字触发信号。SPAD也具备更低的时间抖动，所以意法半导体这类厂商在消费产品中采用这种传感器技术。以松下为代表的APD传感器技术本身也在发展中。Vikesmc

另一方面，APD与SPAD像素和图像传感器比较难以小型化，这可能是与其设计电路相对复杂，包括淬火电路、像素内TDC在内的各种电路都需要占据较大的片上尺寸有关。意法半导体现有公开在售的SPAD图像传感器（FlightSense系列）就鲜有真正高像素的[5]，且应用方向主要在测距，而非3D成像与感知——即便意法已经在朝着这个方向发展。意法半导体去年底才推出的VL53L5才开始逐步发力在多区域测距的“切割”，往3D感知方向发展。Vikesmc

既有的dToF高像素产品似乎也少有着力在手机这类紧凑型设备上的。实际上，我们从现有ToF图像传感器技术的制造工艺发展思路来看，意法半导体、松下、索尼这类厂商普遍在应用3D堆栈、背照式这样的技术（比如把原本位于光电二极管上方的布线层移至下方，或者将光电转换器、电子倍增器这些部分垂直堆叠起来），就跟当年传统摄像头的图像传感器一样想办法提高像素的开口率，缩小像素尺寸，尽可能做到更高的传感器2D分辨率。Vikesmc

松下今年2月份发布一种VAPD（垂直堆叠VAPD）传感器，像素数量达到了100万[6]；瑞士洛桑联邦理工学院（EPFL）和佳能前几天才刚刚宣布达成全球最小的SPAD像素：2.2μm，加上3D堆叠，SPAD像素阵列可以达到数百万级别[7]。（与此可对比的是，三星当前已经商用的传统CIS传感器，单像素尺寸可达到0.7μm，而0.6μm也已经在研发中）Vikesmc

Vikesmc

Vikesmc

iPhone X的Face ID系统发射器发出的红外光点，与iPad Pro 2020的LiDAR发射端发出的红外光点数量比较，原理与技术上的差异，导致两者的光点密度差别很大，来源：iFixit[8]Vikesmc

不过这些技术至少现在并没有应用于移动设备的例子，如果说iPad Pro 2020的dToF方法应用的是SPAD传感器，则在这个设备尺寸以及5米测量距离内，而且还是消费型电子产品，SPAD传感器的3万像素或许着实称得上是高像素。Vikesmc

有关iPad Pro 2020是否采用SPAD传感器（TechInsights并未公开这部分分析信息），我们查到前两年苹果的一份专利储备，展示的就是一种3D感知系统，或者说就是ToF[9]。这个专利中提到了LiDAR相关技术——针对的就是消费领域的应用，包括VCSEL光源，而光电探测器选择的就是SPAD。“这种探测器能够以很高的时间抵达分辨率，在数十皮秒内捕获单独的光子”。Vikesmc

Vikesmc

苹果一项有关LiDAR的专利，来源：Patently AppleVikesmc

加上苹果已经在宣传中明言iPad Pro 2020的3D感知所用就是dToF方法，那么我们有理由猜测这可能就是个SPAD传感器。即便似乎从现有技术来看，整个LiDAR模组看起来还是比较奢侈和黑科技。不过前文提到TechInsights认为，这枚传感器来自索尼。问题是从我们查到的资料来看，索尼似乎并没有造SPAD传感器的历史，SoftKinetic的长项也在iToF，而非dToF。Vikesmc

索尼传感器发展如何？

如前文所述，索尼应用于iToF的传感器去年就已经开始统领手机市场了。三星和华为去年的手机旗舰，后摄3D ToF方案上都应用了索尼的ToF传感器方案，比如三星Galaxy Note 10+[10]，如下图所示。其中右边部分接收端的传感器是来自索尼的IMX516，单像素尺寸5μm，分辨率480x640（30万像素，24.8mm²）——华为Mate 30 Pro的前置ToF模组也应用了这个方案。Vikesmc

Vikesmc

三星Galaxy Note 10+的3D ToF解决方案来自索尼，整个模块包括了发射端与接收端；来源：System Plus ConsultingVikesmc

华为P30 Pro的后置ToF模块选择的则是180x240（4.7万像素，18.9mm²）的索尼IMX316传感器（以及Lumentum的VCSEL光源泛光照明器），单像素尺寸10μm。OPPO R17 Pro等国产手机也有应用这颗传感器的例子[11]。[!--empirenews.page--]Vikesmc

就实现来看，iToF（间接ToF）实际上是一种相比dToF更加易于实施的方法。如果我们采用ToF实施方法分类中，比较通用的一种，则ToF总体分成了iToF与dToF，而iToF则又可以再分成pToF（基于脉冲的ToF）与cwToF（连续波ToF）。Vikesmc

Vikesmc

pToF与dToF实际上有些类似，某些分类是将pToF与dToF归在同一类的，都叫基于脉冲的ToF；这两者的不同之处在于pToF是对多脉冲的实时测量，而dToF则是针对单个激光脉冲。手机产品中pToF实施比较有代表性的是vivo NEX双屏版，这款手机采用松下的CCD传感器。Vikesmc

pToF以及CCD传感器有自身的一些优势，例如CCD在高像素实现上暂时有优势，且感光度高，对室外强光有着更天然的适用性；而且如前文所述，pToF更不容易产生画面的运动模糊。但pToF对系统的时间抖动控制要求也比较高，因为发射的光脉冲宽度与接收端传感器的快门要求一致，此外温度校准也更复杂，以及可能要求外置的模拟前端芯片用于深度数据的数字化和输出。另外，CCD由于功耗和发热问题，可能并不怎么适用于手机。Vikesmc

Vikesmc

cwToF方法示意，来源：Time of Flight Cameras: Principles, Methods, and ApplicationsVikesmc

所以以英飞凌和索尼为代表的cwToF（连续波ToF）在移动消费市场是更占据主流地位的。cwToF方法在实施中，发射端会针对照明应用一个周期性的调制信号，最终在光返回到图像传感器时，针对反射光检测相位差，并算得距离。现在我们常说的iToF，很多时候也特指cwToF。Vikesmc

一般来说，cwToF方法实施起来会更为简单（但在精度要求更高时，cwToF信号调制实施难度也很有挑战性），而且是全CMOS成像系统，具备了更好的弹性、更快的读出速度，还能应用RoI（region-of-interest）输出这类功能。不过cwToF方法在技术上也有一些难点和阻碍，其一在于要获得相位差数据，就要求多调制频率下相关函数的四次采样。这样一来，如果再加上多帧处理，则后端数据处理的复杂性会明显比较高。Vikesmc

另外，cwToF的一些局限性主要在于：从上面这张图中的等式可知，如果要获得更长的测量距离（Depth），就需要更慢的调制频率（f）。但如此一来会同时限制距离精度，距离精度与背景光强度、信号强度、最大不模糊距离（maximum unambiguous range，上述等式中的c/2f）有关。对于一个固定的场景来说，由于反射信号强度随着距离增加指数级下降，就会有指数级的精度降低。另外为了满足人眼安全需求，cwToF必须采用较低的峰值输出功率，这样一来SBNR就会比较低；而且cwToF对于多径干扰这类问题的抵御能力更差。Vikesmc

不过相对而言，cwToF是一种在测量距离、精度、系统体积、成本等各方面都非常适用于手机、移动设备的方法。所以目前绝大部分手机和移动设备都选择了cwToF这种方案。而在iPad Pro 2020诞生之后，dToF可在消费领域应用的呼声似乎也明显变高了。Vikesmc

不过索尼以前的确没有过涉足dToF的消息。从索尼DepthSense技术的介绍来看，这是一种典型用于cwToF方法实现的传感器[12]。索尼用了一种名为CAPD（Current Assisted Photonic Demodulator）的像素结构，虽然这名字看起来倒是和APD（雪崩光电二极管）挺像的。Vikesmc

Vikesmc

这种像素结构应该是为了提高集光效率，提高相位差计算精度，而做的一种技术加强（如上图）。调制的光首先从VCSEL光源发射出来，碰到场景中的对象之后，反射回来，抵达接收端的图像传感器像素，光子转为电子，切分于交替的探测器结（p+与n+）之间。这两个结为180°异相，可完整捕捉到反射光。另外就是这种传感器，应用了索尼本身就很拿手的背照式CMOS方案，把布线、电路层级置于光电二极管之下，提升感光度。Vikesmc

所以就iPad Pro 2020的LiDAR模块中的传感器来说，如果的确是索尼提供的传感器，莫非索尼又隐藏了什么SPAD传感器黑科技尚未公开，而仅面向苹果提供定制，亦或在具体实施层面，仍有一些值得商榷的细节？这是值得探讨的，也欢迎内行人士为我们解惑。我们也静待更多信息的放出。Vikesmc

3D ToF在消费市场的逐步崛起

当年iPhone X应用结构光，实质上引发了3D成像与感知市场的一波崛起，甚至可以说ToF在消费市场3D感知上的应用都是由iPhone X带动的。当然，如前文所述，ToF在单点测距方向上的应用则早已有之，而且市场规模如今也已经相当之大，意法半导体在这方面的出货量早就破10亿了[1]，现在的重点就在3D感知应用方向上。Vikesmc

近些年苹果在消费市场上呼风唤雨的能力仍在持续，iPad Pro开推ToF在3D成像与感知领域的应用，以及传言今年的iPhone 12也可能要上ToF模块，这对原本就在火热发展中的3D ToF市场就是一剂强心针；甚至有机会为dToF在消费市场上的普及铺路——毕竟市场中其他同类产品的解决方案皆以iToF为主。Vikesmc

Vikesmc

最后值得一提的是，本文只少许着重提到了ToF模块中接收端部分的图像传感器，然而实际上整个ToF模块至少还包括了发射端的激光照明单元、光学器件（包括diffuser、光学镜头、窄带滤光片等）、驱动电路、周边外围电路，以及相关3D深度数据处理的软件、算法等。而其中的每个环节都有不同的供应商，例如发射端在整个ToF模组也扮演着十分重要的角色，本文未曾涉及。Vikesmc

针对消费市场的ToF模组构成，ToF市场及技术，我们也特别撰写了一份报告，预计将在下个月发布在电子工程专辑网站上。前文提及的部分蜻蜓点水式的内容，包括ToF技术的方法分类，ToF在光学测距方案中所处的位置，它与结构光、立体视觉、聚焦合成、干涉度量法这些测距方案有何异同，以及ToF市场近两年的变化及发展情况等，欢迎届时关注。Vikesmc

参考来源：

[1] TechInsight’s Twitter - TwitterVikesmc

https://twitter.com/techinsightsinc/status/1244050881705844737Vikesmc

[2] Softkinetic - WikipediaVikesmc

https://en.wikipedia.org/wiki/SoftkineticVikesmc

[3] STMicroelectronics’ Time-of-Flight Sensors and the Starship Enterprise Show up in the iPhone 7 Series - TechInsightsVikesmc

https://www.techinsights.com/blog/stmicroelectronics-time-flight-sensors-and-starship-enterprise-show-iphone-7-seriesVikesmc

[4] Zhang Chao, CMOS SPAD Sensors for 3D Time-of-Flight Imaging, LiDAR and Ultra-High Speed Cameras, 2019Vikesmc

[5] LiDAR in a Chip, FlightSense™, Introduction to Time of Flight - STMicroelectronicsVikesmc

https://www.st.com/content/ccc/resource/sales_and_marketing/presentation/product_presentation/group0/e0/84/0c/fb/11/ec/49/1d/SensorsLive_LiDAR_Chip/files/SensorsLive_LiDAR_Chip.pdf/jcr:content/translations/en.SensorsLive_LiDAR_Chip.pdfVikesmc

[6] Panasonic Develops Long-range TOF Image Sensor with High Ranging Accuracy - PanasonicVikesmc

https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.htmlVikesmc

[7] Canon & EPFL Report Performance of the World’s Smallest 2.2um SPAD Pixel - f4 NEWSVikesmc

http://www.f4news.com/2020/04/18/canon-epfl-report-performance-of-the-worlds-smallest-2-2um-spad-pixel/Vikesmc

[8] 12.9” iPad Pro 2020 Teardown: What does the LiDAR scanner look like? – iFixitVikesmc

https://www.youtube.com/watch?v=xz6CExnGw9wVikesmc

[9] Major Apple Patents Reveal work on next-gen LiDAR Systems using VCSELs for 3D Sensing Systems and Headset - Patently AppleVikesmc

https://www.patentlyapple.com/patently-apple/2018/11/major-apple-patents-reveal-work-on-next-gen-lidar-systems-using-vcsels-for-3d-sensing-systems-and-headset.htmlVikesmc

[10] 3D imaging and sensing: now it is rear 3D sensing turn to be the leading growing application - Yole DeveloppementVikesmc

http://www.yole.fr/3D_Imaging_Sensing_ToF_Adoption.aspxVikesmc

[11] Huawei Leads Imaging Chip Area Arms Race, Sony Wins Big with i-ToF, Emergence of Event-Driven Vision Sensors - TechInsightsVikesmc

https://www.techinsights.com/blog/imaging-sensing-end-year-highlightsVikesmc

[12] Better Time of Flight: Sony DepthSense 3D Sensor Explained - LUCIDVikesmc

https://thinklucid.com/tech-briefs/sony-depthsense-how-it-works/Vikesmc

[13] STMicroelectronics Ships 1 Billionth Time-of-Flight Module - STMicroelectronicsVikesmc

https://www.st.com/content/st_com/en/about/media-center/press-item.html/t4210.htmlVikesmc