降低眩晕感 VR延迟20毫秒以内7zWesmc
如果你佩戴过VR头盔设备，可能会发生一些眩晕感。延迟率是造成这种效果最重要的一个因素。VR延迟率指VR头盔显示设备的视觉观测与头部运动的匹配程度。研究表明，头动和视野的延迟不能超过20ms，否则造成视觉上的眩晕，不适感。 7zWesmc
目前，三星GEAR VR、刚发布的大朋VR一体机延迟都可以控制在19.3ms。如何控制延迟，主要取决于VR系统中数据从传感器到CPU，再到GPU最后到显示屏的整个过程的优化，尤其是ATW技术。7zWesmc
在最近由网易科技举办的开物沙龙VR论坛上，Nibiru CTO曹峻玮分享了移动端VR技术的关键点。通过底层系统优化、ATW算法达到延迟控制在20毫秒以内的目标，Nibiru已经对整个系统优化完成，可提供VR SDK。7zWesmc
曹峻玮介绍说，首先是陀螺仪的应用，陀螺仪刷新频率越高，延迟越低，1K刷新的陀螺仪延时就是1ms。例如三星Gear VR的方案是1K刷新率的陀螺仪。
7zWesmc
“对于移动VR的陀螺仪现在业界有两种方案，一种方案是比较便宜的，直接用手机里的陀螺仪，这个陀螺仪如果使用I2C总线，速率不是很快，现在也有些方案使用SPI总线，它的传输速率会高一些。另外一种就是现在以三星Gear VR为主导的，用的是外接MCU陀螺仪模块，通过USB传递数据。对于第一种方案如果陀螺仪刷新率过高， I2C协议带来的系统中断对于CPU的损耗过高，手机CPU会发烫特别严重。USB方案相对好一些。”曹峻玮解析道。7zWesmc
在陀螺仪技术里面融合算法非常重要。所谓的融合算法就是将陀螺仪，加速度和地磁进行有效的融合矫正，使得用户在调用陀螺仪时候保持数据稳定性和准确性。7zWesmc
融合算法集成在硬件底层驱动是一个趋势。可以降低CPU的损耗，增加陀螺仪的效率。“高通发布了VR SDK，我们认为比较好的做法就是把陀螺仪融合算法放到硬件DSP里面去做。”7zWesmc
图形图像部分，需要与芯片原厂配合做底层优化。包括：第一就是Front buffer Rendering，为什么Latency会较高，原因是Android架构的整个系统本身就是非实时性系统，需要做很多同步验证，导致延迟高。Front buffer Rendering是所有的移动VR优化必须做的。7zWesmc
7zWesmc
第二是ATW，借此保证刷新率保持在稳定的帧数并降低延时。 第三是Multi-View Rendering，左右眼的图两次渲染，实现一次代码调用，提高GPU的性能。现在ARM已经提供这样的扩展。7zWesmc
最后是Multi-Resolution Rendering，由于图像本身需要做反畸变，四周边缘不需要太多分辨率渲染，可节省GPU资源。目前已经有GPU厂家支持这样的扩展，Nibiru正在测试效果。7zWesmc
从采集陀螺仪数据到CPU计算逻辑，再到GPU计算绘制，最后显示器显示。这四个步骤所需要的时间就是Latency的时间。
7zWesmc
由于Android是非实时性系统，从图形绘制完成到送显有三级buffer缓存，会带来50ms的延时，就需要采取图形图像优化FBR的模式，让图像绘制之后直接送显。但是FBR模式会带来画面的撕裂，这也是为什么Android会采用3级buffer缓存的原因。7zWesmc
7zWesmc
第二是屏幕的反应延时，比如TFT屏幕延时大概有20ms，而OLED屏只有5ms，这些延时是不可更改的。目前移动VR基本跑在60Hz。60帧的GPU绘制速率16毫秒加上5毫秒，达到21毫秒了。但为什么三星能做到20毫秒以内，这里需要ATW技术，简单的说就是中间帧生成技术，中文叫异步时间扭曲。7zWesmc
通过使用ATW技术使得GPU绘制的图像进行一次变换，从而使得显示的图像是以最新的陀螺仪数据为基础，这个算法需要3ms左右，加上反畸变和反色散的算法2ms，而陀螺仪刷新延时在1ms，那么从陀螺仪采集到GPU图像绘制送显的延时在6ms左右。7zWesmc
接下来就是显示屏刷新延时，由于是左右camera交替刷新，所以这里一幅图的延时就是8.3ms，8.3ms加上6ms，再加上Oled屏的5ms左右，总共加起来19.3ms，这就是三星的20毫秒以内的由来，目前来看，Nibiru VR系统已经基本实现了这个逻辑优化。
7zWesmc
7zWesmc
Nibiru为手机厂商、一体机厂商进行系统优化。“系统优化之后，在游戏CP调用我们的VR SDK时才能达到这种低延迟效果。CP使用我们配合引擎的plug－in就行，我们会跟引擎公司合作，推出相应的plug－in，支持Cocos3x，Unity和Unreal等通用的游戏引擎。”7zWesmc
从芯片厂商来看，ARM已经在底层做优化支持VR，ARM全球执行副总裁兼大中华区总裁吴雄昂表示，我们下一代芯片会专门为VR做优化，时间在一年半以后。此外，高通也发布了全新的VR SDK。7zWesmc
享受沉浸感 裸手是VR/AR未来
Leap Motion中国区总经理陈佳敬认为从VR到AR是一个有线到无线，然后最终只有AR设备的过程。有线VR阶段，我们用遥控器、手持设备进行操作，无线VR阶段去掉了线，还可以直接用手来操作。AR阶段，用手指可以直接在投射的画面上操控，是人手与电脑的直接互动。陈佳敬表示，AR时代，裸手输入法是最主流的，Leap Motion就是一直研究人的手指与电脑互动的技术，这项技术的重要性将越来越重要。7zWesmc
7zWesmc
如何实现人手与电脑的互动，陈佳敬做了现场演试。他们的技术偏向于软件端，在头盔上最前面有一个很小的四方条，上面就是两个VGA摄像头，30万像素，通过捕捉影像再用软件来解析。侦测角度为150度，上下135度，客户可以直接购买这个小硬件，下载SDK。7zWesmc
7zWesmc
“我们这个硬件2013年的时候就开始卖了，这是我们的第一代产品，这个产品它的成本很低，我们是走全软件的公司，对硬件的要求非常低。这个硬件经过3年之后还可以用我们最新的软件。”7zWesmc
uSens 首席运营官及联合创始人时驰也认为，裸手的交互方式是VR技术的未来。“移动VR上面实现游戏变现，首先要做提供保持整体移动性的感知和交互。尽量少穿点，少拿点，经济实惠的感知世界，让VR像触屏手机一样简单直观，老少皆宜的内容就能出现和变现，实际上就是交互。通过三维手势、头部转动，位置跟踪，最后实现超级现实，AR+VR super Reality。”
7zWesmc
在真实的VR当中可以用手在空中做一些自然的交互，人还可以在真实和虚拟中自由穿梭，穿梭的时候核心交互保持不变。如下图，空中手写和擦掉文字。
7zWesmc
眼球追踪技术目前在全球应用的领域有两个，一个是医疗，如渐冻人；另一个领域是广告设计的焦点测试，测试广告设计是否合理。 7zWesmc
七鑫易维联合创始人彭凡解析，对于VR来说，眼球追踪与头动一起实现交互，但目前并不成熟。现有的交互，手持控制器始终不是沉浸感，眼控能够让交互更人性化，更真实。现在的VR交互方式看任何一个点都要动头，最舒服的方式是眼动加头动的配合使用。另外，我们只需要渲染出用户注视的那一个核心区域，即注视点渲染技术，它需要PC能够非常高速的指导用户在每一个时刻看到的那一个点，所以需要高速的眼神追踪传感器来配合。7zWesmc
7zWesmc
VR被认为是下一个IT热潮，但目前来看还有很多问题尚未解决，例如眩晕感、沉浸感直接影响着用户体验，另外，技术创新、创业扎堆于此，未来仍需考虑投入如何变现的问题。7zWesmc
