对半导体供货商来说,Google新发表的虚拟现实(VR)平台Daydream,是与它的名称(白日梦)正好相反、具备实际商机潜力的产物;高通(Qualcomm)虚拟处理技术部门主管Tim Leland,就是众多与Google合作了好一段时间的厂商代表之一,协助催生了可支持移动虚拟现实功能的新一代升级版Android手机,如三星(Samsung)以GearVR产品所展现的实例。PdCesmc
Leland的团队协助开发了一个针对单缓冲渲染(single-buffer rendering)优化的Android架构,该整合于高通最新Snapdragon 820单芯片(SoC)的绘图处理核心经过调整,可提供精细纹理的抢占技术(fine grained pre-emption),以降低移动延迟(motion-to-photon latency);移动延迟是确保VR头戴显示器画面变换速度与用户头部移动速度一样快的关键指针。PdCesmc
Leland表示,藉由深入SoC设计让Android平台的应用达到20毫秒(millisecond)的延迟目标是个大工程,Snapdragon芯片需要改变与各个传感器之间的交握(handshake)方式才能降低延迟;而传感器本身则需要支持更快速的、从100MHz到1GHz等级的采样。PdCesmc
为此高通开发了一种称为“视觉惯性测程(visual inertial odometry)”的算法,以追踪六个自由度的头部运动;该算法会在Snapdragon内建的Hexagon数字信号处理器(DSP)中执行,将来自头戴设备的加速度计、陀螺仪、磁力计、摄影机的数据相互关联。PdCesmc
开发工程师能透过高通即将上市的软件开发工具包(SDK)取得上述技术,而Google也打算在Android N操作系统加入能处理传感器融合(sensor fusion)任务的功能,应该是为了那些采用未具备传感器融合功能之SoC的厂商。PdCesmc
高通在一篇技术白皮书中声称,Snapdragon 820的移动延迟低于18毫秒;该白皮书写道:“以实际的角度来看这个挑战,60Hz显示器每17毫秒会更新一次画面,而90Hz显示器则是每11毫秒更新一次。”PdCesmc
结合头戴式设备使用的手机通常会需要采用AMOLED显示器,因为能比传统液晶显示器支持更快的切换时间,否则容易出现所谓的‘鬼影’;而绘图处理核心则会采用一系列的渲染影像技巧,提供用户运动时的流畅感、同时最小化耗电量。PdCesmc
举例来说,该类组件会尽可能时常重复使用宏区块(macro-blocks;或译“宏区块”、“宏块”),以减少渲染影像的需要。一个简单的技巧是先在显示器的中央渲染影像,假设用户的目光聚焦于此;而更先进的解决方案是使用智能手机摄影机来追踪使用者的眼球运动,来判定哪个角度的影像该优先渲染。PdCesmc
绘图数据的压缩已经成为在提升处理速率同时降低耗电的关键;另一个技巧是改变影像的色调,让它看起来似乎更亮,因此不需要调高耗电量大的背光。这确实是个挑战,因为目前的手机只是在车上开个导航功能就会开始发烫,而今年秋天上市的手机则是要能贴近使用者的脸。无论如何,VR功能期望能为成长趋缓的手机市场注入新动力。PdCesmc
对首批与未来VR手机产品的期望
大多数供货商预期会推出类似三星 GearVR设备的Daydream平台产品,也就是需要搭配智能手机使用的被动型VR头戴式设备;不过Leland表示,该类产品是Daydream平台的典型头戴式设备,也会有厂商推出特殊应用移动VR头戴式设备,甚至也有厂商在开发扩增实境(AR)产品,但那会较晚问世。PdCesmc
特殊应用移动VR头戴式设备可能包括一系列高价位产品,配备更昂贵的显示器、更大储存容量以及先进的空间音频(spatial audio);该类头戴式显示器预期价格范围也会更广。PdCesmc
Daydream平台的最后一个部分硬件,就是内建轨迹板的双按键控制手把,类似第一代任天堂(Nintendo)游戏机Wii的手把;其中一个应用程序按键是为开发厂商留的,另一个回到主页(Home)按键则是保留给Android。根据曾经开发电玩、对游戏互动十分熟习的Google VR部门主管Clay Bavor表示,该控制手把的精确度媲美雷射笔。PdCesmc
将在今年秋天陆续问世的Daydream平台产品只是个开始,Leland 表示:“产业界将持续努力降低移动延迟──这也会是接下来几年大家会常听到的话题,因为虽然20毫秒的延迟性已经很好了,15毫秒、甚至低于10毫秒当然更好,这能让VR画面看起来更真实,不会让使用者感觉好像是画面很努力要赶上自己。”PdCesmc
Leland指出,这类需求将影响传感器处理是如何完成,以及摄影机子系统如何开发、绘图渲染如何与显示器接口协作,扩及所有的处理器。为此高通正在寻求新的SoC功能区块,以说服原厂愿意多花点钱取得差异化;而现在Daydream则是已经准备好进驻预计年底圣诞节/新年假期上市的产品。PdCesmc
至于Google本身则是积极为Daydream提供所需的内容,其地图应用程序的街景服务(Street View)以及在线视频平台YouTube,都已经准备好提供360度照片以及视频,YouTube也能支持空间音频以及运动强度评分(motion- intensity ratings)。PdCesmc
此外Google也与好莱坞(Hollywood)与各家媒体商接触,除了与Imax等厂商开发配备16台摄影机的360度影像拍摄设备,派拉蒙(Paramount)、发现频道(Discovery)以及纽约时报(The New York Times)等都是其VR内容合作伙伴。PdCesmc
Daydream平台开发工具已经开始提供,能让使用C++语言的程序设计师取得底层应用程序编程接口(API)与硬件;Google总部的Daydream实验室一直试图一天快速开发两个VR实验性应用程序原型,将透过发表博客文章的方式分享其学习经验。PdCesmc
Leland 结论指出,Android平台上的VR体验,将会让那些认为VR头戴式设备都需要跟一台PC绑在一起的人惊艳。而使用者只要耐心等待几个月,就可以看到是否苹果(Apple)也会加入这个趋势,让iPhone 7也有自己的VR方案…或者该公司看到的是另一种“现实”。PdCesmc