小米吹了很久的1亿像素，华为难道不配拥有吗？

这个标题的前提实际上是不正确的，因为早在2016年年初，索尼就已经与飞思（Phase One）联手推出了1亿像素中画幅相机XF100MP，其中1亿像素CIS（CMOS图像传感器）就是索尼生产的。不过这种中画幅高端货和我们要探讨的1亿像素摄像头的手机不在一个水平线上，毕竟XF100MF售价超过30万元人民币。Mllesmc

另外就CIS这个市场本身，可探究的领域并不限于手机摄像头与民用数码相机，工业、汽车甚至科研领域都有不同定位的CIS产品。由于各领域市场的差异，CIS的发展技术路线也各不相同。本文我们只探讨应用于手机及消费级移动设备的高像素CIS。Mllesmc

在索尼与三星的4800万像素CIS大战之后，频繁在高像素上出招的似乎主要就是三星了。从去年下半年至今，三星在手机市场上，奔着亿级像素一去不复返。既然高通主SoC上已经有了支持到2亿像素的ISP（骁龙865），这像素战似乎还没有要停止的意思。今年1月份有传言称，小米可能要推2.56亿像素的手机[1]。Mllesmc

Mllesmc

但在如今1亿像素摄像头手机正热的时代，却未见索尼这位CIS界顶流的身影，这好像在市场宣传上让华为在小米面前低了一头。荣耀产品副总裁熊军民去年11月还专门发微博表示“像素不是越高越好，镜头不是越多越好”，以及荣耀会有不同的“前进方向”。似乎每隔一阵，总有声音呼吁不要盲目追求高像素，这种声音在千万像素时代就已经有了。Mllesmc

我们在去年的文章中就已经肯定过1亿像素存在的合理性[2]，有关高像素摄像头的更多技术探讨我们还将在未来的文章中表达：尤其是三星目前正着力的0.7μm像素节点。基于这样的讨论，索尼没有在手机市场参与到亿级像素的竞争，是因为技术不济吗？Mllesmc

三星在技术上仍有明显短板？

在正式探讨索尼的思路之前，我们先尝试谈一谈去年1亿像素探讨文章中，提到三星在模拟读出技术上不足的问题。实际早在4800万像素时代，三星在这部分的技术储备上就不及索尼，所以三星最早的4800万像素CIS（S5KGM1）并不支持全像素输出，导致三星一度被卷入“真假4800万像素”的争议里。Mllesmc

我们早前的文章也提到了这次争端，其本质在于：三星S5KGM1在像素层面是实打实的4800万像素，只不过在输出阶段掉了链子。这个例子是很能体现三星彼时在技术层面的一个重要软肋的。Mllesmc

而且在小米CC9 Pro最早应用三星S5KHMX一亿像素CIS之际，这颗CIS也仍然尚未做到片上remosaic。所以即便S5KHMX已经做到了一亿像素输出，remosaic过程却需要由高通骁龙SoC的ISP去完成。表现在用户层面，就是拍照体验受到影响，拍摄后的等待时间比较久。Mllesmc

Mllesmc

索尼在最新的技术宣传页上，似乎也针对这个问题有了部分的宣传[3]。除了“高速拍摄”、“同时进行4个模拟信号像素的ADC”，还专门提到了列并行（Column-parallel）ADC（模拟数字转换）电路，实现并行的信号处理。在横向阵列，增加大量这样的电路得以实现CIS的“高速”化输出。另外索尼在宣传中还提到了这种电路能够进行自动的降噪。这项技术应该是索尼CIS高速输出的原因之一。Mllesmc

三星未有这方面的介绍，不过全像素输出速度的问题，三星似乎已经基本解决——至少不会再出现不能全像素输出的尴尬，即便或许在输出帧率上仍有加强空间（好像三星从来不在公布的规格文档里标全像素的输出帧率和色深）；而且在应用于Galaxy S20 Ultra的一亿像素S5KHM1之上，三星也终于为其加入了片上remosaic。从实际应用的体验角度来看，我们似乎很难再说三星在这方面是落后的。Mllesmc

Mllesmc

另外，三星这两年也的确有在像素技术上做各种调整，比较知名的是ISOCELL增加像素隔断（DTI），这一点我们在先前的技术介绍中已经提到过，虽然这也并不是三星独有的，但在实现方式上与竞争对手还是有很大区别。后来三星对这种DTI结构做了升级，名为ISOCELL Plus，主要是将色彩filter间的金属隔断换成了一种来自富士（Fujifilm）的新型材料，避免原有金属材料吸收或者反射进光的问题。Mllesmc

这种技术本身旨在加强像素的感光性能，用于缓解小像素进光不足的问题。从这种结构和材料改进也不难发现，做高像素并没有想象得那么暴力和简单。Mllesmc

Mllesmc

如果抛开像素不谈，索尼CIS另一个相对重要的领先还体现在堆叠结构的Cu-Cu连接上，即像素chip与逻辑电路chip的直连；台积电也已经在用这种方案。从TechInsights今年针对Galaxy S20 Ultra的拆解来看，在应用最新0.7μm像素技术的GH1图像传感器上（Galaxy 20 Ultra的前置摄像头），三星还在用TSV（硅通孔）方案[4]。而Cu-Cu互联能够提供更大的灵活性，让CIS整体尺寸做的更小，在更高密度以及pin layout的自由度方面做的更好，也便于实现功能扩展。Mllesmc

当然，就现有资料来看，我们的探讨还是比较具有局限性，比如从像素层面来看究竟谁更先进这样的问题。但至少我们认为，若抛开像素数量与密度不谈，则三星也正在CIS技术上做努力，即便尚有很大的优化余地。那么在三星追求像素更小型化、像素密度增加时，索尼又在做什么呢？Mllesmc

“追求”方向的不同

虽然我们对于高像素的发展有信心，但从整个摄像头到成像系统的角度来看，由于CIS只是影响手机拍照的一部分，算法、光学系统也十分重要，所以1亿像素CIS最终在拍照上的收益可能并不像1亿这个数字那样表达得那么惊人。Mllesmc

这也是很多人否定1亿像素CIS的部分原因，即从手机的具体表现来看，或许它并没有宣传得那么令人满意。但我们仍然坚信，1亿像素是小底成像设备提升画质的一个十分重要的解决方案。只不过在提升像素的过程中，是否仍有一些昔日的遗留问题该花时间解决一下？Mllesmc

这就要提到在三星宣传1亿像素的这些时间里，索尼究竟在做些什么？从ISSCC 2020（国际固态电路峰会）图像传感器部分的技术分享来看，这届ISSCC十分重在ToF成像[5]。索尼的成果汇报似乎更加丰富一些。索尼在会上提供的议题主要有三个：Mllesmc

• A 132dB Single-Exposure-Dynamic-Range CMOS Image Sensor with High Temperature Tolerance
• A 0.50erms Noise 1.45μm-Pitch CMOS Image Sensor with Reference-Shared In-Pixel Differential Amplifier at 8.3Mpixel 35fps
• A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensors with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline

这些CIS相关的技术似乎暂时和手机摄像头的相关性并不算大，不过还是可以表现索尼在CIS技术发展上的多样性，仍值得稍作研究。这其中最引人注目的应该是最后一个，索尼与Prophesee联合发布的一种基于事件（event-based）的传感器，美国版EE Times特别针对这项技术做了采访和报道[6]。Mllesmc

这种新型传感器做到“行业最小的像素尺寸与最高的动态范围性能”，这里的“行业”应该还是有限定的，即在事件驱动视觉系统（event-driven vision technology）中，毕竟4.86μm的尺寸在移动CIS看来已经是巨型了。Mllesmc

Mllesmc

这种event-based的图像传感器像素尺寸缩减，是基于索尼拿手的堆栈式结构Mllesmc

这种传感器定位在工业设备、自动驾驶汽车，其本质在于在图像传感器中集成AI，用Yole Développement首席分析师Pierre Cambou的话来说这种传感器能够快速加强图像，或者“直接提供基于事件的感知”能力，“每个像素就是一个神经元”。在Cambou看来，索尼认为图像传感器不应该只是相关于成像，也应当相关于感知。Mllesmc

不过这不是我们要聊的重点，毕竟至少就现在看来，它和手机摄像头的关系还没有那么大。在移动技术领域，索尼近期在其技术介绍页面增加了一个名为“2x2 On-Chip Lens Solution”（OCL，2x2片上微透镜解决方案）的解决方案[7]，这项技术在我们看来是对高像素发展中的一次十分典型的“查漏补缺”。Mllesmc

这项技术的原理也很简单。在传统的CIS中，每个像素之上都会有个微透镜（micro-lens）。到了4800万像素时代，像素越来越小，这直接影响到了像素的感光能力。所以CIS制造商开始改造传统的Bayer像素排列方式，采用Quad Bayer（或者Tetracell）这类像素排列。这个时候，每个像素依然都有自己独立的微透镜。Mllesmc

Mllesmc

手机CIS的三种相位对焦方案，来源：TechInsightsMllesmc

实际情况可能要更复杂一些，TechInsights更早的分析显示，索尼和三星前两年开始用2x1 OCL的方案（最早是安森美在用的一种方案，三星在宣传上好像将其称作super-PD），就是一个微透镜横跨覆盖两个像素（如上图最后一行），这么做是为了借像素做相位检测，实现相位对焦；而三星在不同的0.8μm图像传感器上，实则还用到了更早的一种名为masked相位对焦的方案（另外还有一种Dual PD相位检测方案）。[8]Mllesmc

这些方案中CIS仅有一部分像素用作相位对焦（PDAF），某些方案的部分像素甚至不参与成像。一方面这类方案的相位检测实际上并不能覆盖整个CIS——这对拍照时的对焦体验会有影响；另一方面就是对画质也会产生影响。Mllesmc

Mllesmc

索尼宣传中的这种2x2 OCL方案，说白了就是一个微透镜跨4个同色像素。这样一来，整个CIS的所有像素都可进行相位对焦，那么对焦精度就会更高。从索尼官方提供的对焦效率对比来看，2x2 OCL方案实施后，暗光场景下的对焦会明显更快速和干脆，如下图所示。（怎么看都像是索尼相机领域技术的下放）Mllesmc

Mllesmc

传统技术Mllesmc

Mllesmc

2x2 OCLMllesmc

这项技术在实施上，有个小trick我们认为尤其值得一提：每四个像素覆盖一个微透镜，也就意味着在相位检测时，在垂直方向和水平方向都可以做相位检测，甚至还能斜向检测，实现全CIS覆盖的“十字对焦”或者“米字对焦”。Mllesmc

而前面提到的常规方案，用相机领域的话来说仅是“一字对焦”。这类方案也就导致了，在拍摄水平方向没有太多纹理变化的对象时，对焦会比较低效（如下图）。所以2x2 OCL也就成为提升对焦效率一个非常有效的方案。Mllesmc

Mllesmc

传统左右相位检测与双向相位检测对焦时的差别Mllesmc

在IEDM 2019（国际电子器件大会）上，索尼有个题为“A 1/2inch 48M All PDAF CMOS Image Sensor Using 0.8µm Quad Bayer Coding 2×2OCL with 1.0lux Minimum AF Illuminance Level” 的议题[9]，本质上就是谈这种2x2 OCL方案。索尼在paper中提到，这种方案是结合了Quad Bayer像素阵列高分辨率和高动态范围的优势，以及双光电二极管（dual photodiode）相位对焦检测更高效，这两者的优势。而最小自动对焦亮度等级可以下探到1lux（传统方案是10lux）。Mllesmc

Mllesmc

Mllesmc

此外，更大的微透镜能够提升Quantum Efficiency（量子效率，提升约7%），不过它可能进一步导致像素间串扰的问题，所以就需要更多的缓解方案来解决问题。比如说加强DTI（深槽隔离），以及令微透镜、filter和像素阱的位置发生相对的偏移，这些也是索尼paper中提及的重点。Mllesmc

“在这篇paper中，全球首个采用2x2 OCL结构的图像传感器为1/2英寸，4800万像素，0.8μm，QBC（Quad Bayer coding）。”Mllesmc

索尼IMX689已经在应用这种方案，只不过它并没有盲目追求高像素，就现有技术准备来看也仍然是为Quad Bayer的4800万像素准备的，算是对4800万像素的进一步完善。这种方案的出现也足见在现有技术节点下，提升拍摄体验和画质仍有空间，像素的增加仍然可以先等一等。Mllesmc

如果索尼未来采用这种技术做演进方向，则在pixel-binning方面不会出现类似三星那样像素9合1的方案（Nonacell）。所以传言华为P40要采用5200万像素的IMX700，在像素阵列上会采用16合1的方案。目前尚不清楚这种pixel-binning在CIS的彩色滤镜阵列上会怎样排布，不过16个像素为一个阵列，在继承2x2 OCL时显然是更平滑的方案。Mllesmc

Mllesmc

针对IMX689这颗CIS还有个题外话，这里稍作解释：OPPO Find X2手机在采用这块CIS时提到双原生ISO（dual native ISO）。这种方案在相机领域不算稀奇，但似乎在手机领域还比较罕有。IMX689所谓双原生ISO的实现方式目前暂时未知，我们可参照松下VariCam的方案，如上图[10]。Mllesmc

ISO就是感光度。一般来说，成像过程光信号转为电信号以后，需要进行一次模拟放大。日常我们拍照时调整ISO，就是在调整电压信号的放大增益。一颗CIS的原生ISO可以理解为在电信号放大为最低值的ISO（模拟电压增益倍数最小）。在原生ISO时，可以达到最佳画质。为了让低照度下的成像质量更好，双原生ISO有时是增加一套模拟放大电路，也就是松下的方案。根据不同的拍摄环境，切换两种不同的原生ISO，在高ISO时依然有不错的画质。Mllesmc

不过我们并不清楚索尼IMX689是否也是这样做的，因为索尼还拥有一种ISO双增益方案，可以调整满阱容量的方式来实现某个ISO以后的后端噪声降低。但我们认为，这种技术对于手机来说，价值可能并不算太大，因为手机摄像头这样的小底设备，成像时的主要噪声来源还是前端产生的散粒噪声（shot noise），对后端噪声的抑制产生的收益大概会比较小。Mllesmc

Mllesmc

高像素重要吗？

通过上面这些内容的探讨，不难发现CIS除了像素堆砌之外，仍有不少值得挖掘的技术创新，可对最终成像做出更多的优化。这些都是在发展手机高像素摄像头时值得借鉴的思路。虽然更高的像素的确能够带来更高的采样率，以及具体到锐度、动态范围等参数上更出彩的表现。但在通往高像素的路上，如果能持续做更多结构、设计上的改进，对于提升拍摄体验、榨取像素“剩余价值”，都是多有裨益的。Mllesmc

基于这种像素的再打磨，更值得观察的，应该是华为今年要发布的P40是否能够用上这种2x2 OLC方案，以及如果像素数量并没有1亿个那么好听，那么其亮点还会体现在哪些地方。这是相当值得期待的。Mllesmc

最后值得一提的是，由于多摄在市场上的应用越来越广泛，这致使手机摄像头的综合成像能力，对某一个CIS的硬件素质依赖越来越不强。高像素在整个系统中的地位或许并不见得有多重要。DxOMark的Mobile类评分也越来越倾向于考察整个系统，而非某一个CIS的素质，比如变焦、模拟焦外、广角，这些都需要多摄的参与。Mllesmc

这对手机OEM厂商便可能提出更高的要求，主摄的高像素CIS只是其中的一个环节。这大概就是荣耀总裁提出的“不同的前进方向”。只不过我们依然不该否定1亿甚至更高像素存在的合理性，并且乐见其产出的收益是积极有效的。更高的像素也是推动移动CIS设计与制造持续发展的某种路径，在我们看来它仍然很重要，只是不要太过急于求成。Mllesmc

参考来源：Mllesmc

[1]New leak gives rise to the possibility of a 256 MP Xiaomi smartphone being a reality - NoteBookCheckMllesmc

[2]小米1亿像素拍照手机是噱头吗？高像素技术探秘 - EE Times ChinaMllesmc

[3]Imaging and Sensing Technology - SONYMllesmc

[4]Samsung Galaxy S20 Ultra 5G Teardown Analysis - TechInsightsMllesmc

[5]Image Sensors at ISSCC 2020 – Image Sensor WorldMllesmc

[6]Sony, Prophesee Open ‘Pandora’s Box’ in AI Sensing - EE TimesMllesmc

[7]2x2 On-Chip Lens Solution - SONYMllesmc

[8]The state of the art of smartphone imagers Part 4: Non-Bayer CFA, Phase Detection Autofocus (PDAF) - TechInsightsMllesmc

[9]IEDM 2019: Sony 48MP All-Pixel PDAF Sensor - Image Sensors WorldMllesmc

[10]DUAL-NATIVE ISO TECHNOLOGY – WHAT IS IT? - Create in motionMllesmc

原文发布于Aspencore旗下ESM姐妹网站EETC   责任编辑：ElaineMllesmc