iPad Pro那颗3万像素LiDAR有何玄机？

就实现来看，iToF（间接ToF）实际上是一种相比dToF更加易于实施的方法。如果我们采用ToF实施方法分类中，比较通用的一种，则ToF总体分成了iToF与dToF，而iToF则又可以再分成pToF（基于脉冲的ToF）与cwToF（连续波ToF）。8P9esmc

8P9esmc

pToF与dToF实际上有些类似，某些分类是将pToF与dToF归在同一类的，都叫基于脉冲的ToF；这两者的不同之处在于pToF是对多脉冲的实时测量，而dToF则是针对单个激光脉冲。手机产品中pToF实施比较有代表性的是vivo NEX双屏版，这款手机采用松下的CCD传感器。8P9esmc

pToF以及CCD传感器有自身的一些优势，例如CCD在高像素实现上暂时有优势，且感光度高，对室外强光有着更天然的适用性；而且如前文所述，pToF更不容易产生画面的运动模糊。但pToF对系统的时间抖动控制要求也比较高，因为发射的光脉冲宽度与接收端传感器的快门要求一致，此外温度校准也更复杂，以及可能要求外置的模拟前端芯片用于深度数据的数字化和输出。另外，CCD由于功耗和发热问题，可能并不怎么适用于手机。8P9esmc

8P9esmc

cwToF方法示意，来源：Time of Flight Cameras: Principles, Methods, and Applications8P9esmc

所以以英飞凌和索尼为代表的cwToF（连续波ToF）在移动消费市场是更占据主流地位的。cwToF方法在实施中，发射端会针对照明应用一个周期性的调制信号，最终在光返回到图像传感器时，针对反射光检测相位差，并算得距离。现在我们常说的iToF，很多时候也特指cwToF。8P9esmc

一般来说，cwToF方法实施起来会更为简单（但在精度要求更高时，cwToF信号调制实施难度也很有挑战性），而且是全CMOS成像系统，具备了更好的弹性、更快的读出速度，还能应用RoI（region-of-interest）输出这类功能。不过cwToF方法在技术上也有一些难点和阻碍，其一在于要获得相位差数据，就要求多调制频率下相关函数的四次采样。这样一来，如果再加上多帧处理，则后端数据处理的复杂性会明显比较高。8P9esmc

另外，cwToF的一些局限性主要在于：从上面这张图中的等式可知，如果要获得更长的测量距离（Depth），就需要更慢的调制频率（f）。但如此一来会同时限制距离精度，距离精度与背景光强度、信号强度、最大不模糊距离（maximum unambiguous range，上述等式中的c/2f）有关。对于一个固定的场景来说，由于反射信号强度随着距离增加指数级下降，就会有指数级的精度降低。另外为了满足人眼安全需求，cwToF必须采用较低的峰值输出功率，这样一来SBNR就会比较低；而且cwToF对于多径干扰这类问题的抵御能力更差。8P9esmc

不过相对而言，cwToF是一种在测量距离、精度、系统体积、成本等各方面都非常适用于手机、移动设备的方法。所以目前绝大部分手机和移动设备都选择了cwToF这种方案。而在iPad Pro 2020诞生之后，dToF可在消费领域应用的呼声似乎也明显变高了。8P9esmc

不过索尼以前的确没有过涉足dToF的消息。从索尼DepthSense技术的介绍来看，这是一种典型用于cwToF方法实现的传感器[12]。索尼用了一种名为CAPD（Current Assisted Photonic Demodulator）的像素结构，虽然这名字看起来倒是和APD（雪崩光电二极管）挺像的。8P9esmc

8P9esmc

这种像素结构应该是为了提高集光效率，提高相位差计算精度，而做的一种技术加强（如上图）。调制的光首先从VCSEL光源发射出来，碰到场景中的对象之后，反射回来，抵达接收端的图像传感器像素，光子转为电子，切分于交替的探测器结（p+与n+）之间。这两个结为180°异相，可完整捕捉到反射光。另外就是这种传感器，应用了索尼本身就很拿手的背照式CMOS方案，把布线、电路层级置于光电二极管之下，提升感光度。8P9esmc

所以就iPad Pro 2020的LiDAR模块中的传感器来说，如果的确是索尼提供的传感器，莫非索尼又隐藏了什么SPAD传感器黑科技尚未公开，而仅面向苹果提供定制，亦或在具体实施层面，仍有一些值得商榷的细节？这是值得探讨的，也欢迎内行人士为我们解惑。我们也静待更多信息的放出。8P9esmc

3D ToF在消费市场的逐步崛起

当年iPhone X应用结构光，实质上引发了3D成像与感知市场的一波崛起，甚至可以说ToF在消费市场3D感知上的应用都是由iPhone X带动的。当然，如前文所述，ToF在单点测距方向上的应用则早已有之，而且市场规模如今也已经相当之大，意法半导体在这方面的出货量早就破10亿了[1]，现在的重点就在3D感知应用方向上。8P9esmc

近些年苹果在消费市场上呼风唤雨的能力仍在持续，iPad Pro开推ToF在3D成像与感知领域的应用，以及传言今年的iPhone 12也可能要上ToF模块，这对原本就在火热发展中的3D ToF市场就是一剂强心针；甚至有机会为dToF在消费市场上的普及铺路——毕竟市场中其他同类产品的解决方案皆以iToF为主。8P9esmc

8P9esmc

最后值得一提的是，本文只少许着重提到了ToF模块中接收端部分的图像传感器，然而实际上整个ToF模块至少还包括了发射端的激光照明单元、光学器件（包括diffuser、光学镜头、窄带滤光片等）、驱动电路、周边外围电路，以及相关3D深度数据处理的软件、算法等。而其中的每个环节都有不同的供应商，例如发射端在整个ToF模组也扮演着十分重要的角色，本文未曾涉及。8P9esmc

针对消费市场的ToF模组构成，ToF市场及技术，我们也特别撰写了一份报告，预计将在下个月发布在电子工程专辑网站上。前文提及的部分蜻蜓点水式的内容，包括ToF技术的方法分类，ToF在光学测距方案中所处的位置，它与结构光、立体视觉、聚焦合成、干涉度量法这些测距方案有何异同，以及ToF市场近两年的变化及发展情况等，欢迎届时关注。8P9esmc

参考来源：

[1] TechInsight’s Twitter - Twitter8P9esmc

https://twitter.com/techinsightsinc/status/12440508817058447378P9esmc

[2] Softkinetic - Wikipedia8P9esmc

https://en.wikipedia.org/wiki/Softkinetic8P9esmc

[3] STMicroelectronics’ Time-of-Flight Sensors and the Starship Enterprise Show up in the iPhone 7 Series - TechInsights8P9esmc

https://www.techinsights.com/blog/stmicroelectronics-time-flight-sensors-and-starship-enterprise-show-iphone-7-series8P9esmc

[4] Zhang Chao, CMOS SPAD Sensors for 3D Time-of-Flight Imaging, LiDAR and Ultra-High Speed Cameras, 20198P9esmc

[5] LiDAR in a Chip, FlightSense™, Introduction to Time of Flight - STMicroelectronics8P9esmc

https://www.st.com/content/ccc/resource/sales_and_marketing/presentation/product_presentation/group0/e0/84/0c/fb/11/ec/49/1d/SensorsLive_LiDAR_Chip/files/SensorsLive_LiDAR_Chip.pdf/jcr:content/translations/en.SensorsLive_LiDAR_Chip.pdf8P9esmc

[6] Panasonic Develops Long-range TOF Image Sensor with High Ranging Accuracy - Panasonic8P9esmc

https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.html8P9esmc

[7] Canon & EPFL Report Performance of the World’s Smallest 2.2um SPAD Pixel - f4 NEWS8P9esmc

http://www.f4news.com/2020/04/18/canon-epfl-report-performance-of-the-worlds-smallest-2-2um-spad-pixel/8P9esmc

[8] 12.9” iPad Pro 2020 Teardown: What does the LiDAR scanner look like? – iFixit8P9esmc

https://www.youtube.com/watch?v=xz6CExnGw9w8P9esmc

[9] Major Apple Patents Reveal work on next-gen LiDAR Systems using VCSELs for 3D Sensing Systems and Headset - Patently Apple8P9esmc

https://www.patentlyapple.com/patently-apple/2018/11/major-apple-patents-reveal-work-on-next-gen-lidar-systems-using-vcsels-for-3d-sensing-systems-and-headset.html8P9esmc

[10] 3D imaging and sensing: now it is rear 3D sensing turn to be the leading growing application - Yole Developpement8P9esmc

http://www.yole.fr/3D_Imaging_Sensing_ToF_Adoption.aspx8P9esmc

[11] Huawei Leads Imaging Chip Area Arms Race, Sony Wins Big with i-ToF, Emergence of Event-Driven Vision Sensors - TechInsights8P9esmc

https://www.techinsights.com/blog/imaging-sensing-end-year-highlights8P9esmc

[12] Better Time of Flight: Sony DepthSense 3D Sensor Explained - LUCID8P9esmc

https://thinklucid.com/tech-briefs/sony-depthsense-how-it-works/8P9esmc

[13] STMicroelectronics Ships 1 Billionth Time-of-Flight Module - STMicroelectronics8P9esmc

https://www.st.com/content/st_com/en/about/media-center/press-item.html/t4210.html8P9esmc