微软(Microsoft)近日首度透露了其增强现实(AR)头戴式设备HoloLens内部的客制化视觉处理器芯片细节；该款芯片的处理能力达到每秒1兆(trillin)次画素运作(pixel-operations)，功耗比采用代号Cherry Trail的英特尔(Intel)Atom系列核心之主机处理器的4W还低。zI1esmc
该HoloLens处理单元(HPU)融合来自5个摄影机镜头、一个深度传感器以及运动传感器的输入信息，将之压缩并传送到Intel的主处理器SoC；此外HPU还能辨识手势以及涵盖多个房间的地图环境。微软在今年稍早介绍了HoloLens的主要功能内容，但并未公开其HPU细节。zI1esmc
微软评估了包括来自Movidius等供货商的市售计算机视觉芯片，却发现并没有任何一款产品能以其要求的性能、延迟以及功耗目标处理所有算法；而后来的客制化HPU是采用28纳米台积电(TSMC)制程，内含24颗Tensilica数字信号处理器(DSP)核心以及8Mbyte的高速缓存， 在尺寸仅12x12mm的芯片封装中纳入了6500个逻辑闸和1Gbyte容量的LPDDR 3。
HPU的运算引擎整合了Tensilica DPS核心以及多个加速器（来源：Microsoft）zI1esmc
在近日于美国硅谷举行的Hot Chips大会上介绍HPU的微软杰出技术人员Nick Baker表示，选择Tensilica核心有部份原因是考虑其弹性，微软在核心中添加了300个客制化指令集：“如果你无法添加客制化指令集，最后可达到的数学运算密度不会是你需要的。”zI1esmc
HPU芯片混合采用独立的加速器(accelerator)，以及与DSP核心紧密耦合的加速器，在一个纯软件版本达到整体200倍的加速；Baker表示：“我们尽可能按照需要采用可编程元素以及固定的功能硬件，以达到我们需要的性能目标；”芯片的软件程序代码包含多样化的算法:“具备不同的成熟度、数学运算以及内存存取模式。”zI1esmc
Baker透露，HoloLens的开发分成硬件、软件、用户体验与性能等不同团队同时进行：“我们在这个项目上将共同设计发挥到极致；”他并强调，微软内部就有能力可将软件仿真(simulation)测试结果，转化为也能在最终硬件成果上执行的硬件仿真(emulation)程序：“所有工作都在Windows 10开发期间同时进行。”zI1esmc
在3月份上市定价3000美元的HoloLens开发工具包就内含了HPU；不过对于HPU是否将有更新计划，或是微软何时会推出消费者版本的HoloLens，Baker婉拒发表意见。展望未来，Baker认为设计工程师们会将头戴式设备进一步推向8K分辨率，以及支持更宽广的视野。zI1esmc
“注视点渲染(Foveated rendering，也就是将用户目标聚焦范围以外的任何景物维持模糊化的一种方法)可望变得越来越普及…以及各种不同分辨率的显示器也可能出现；”Baker表示：“我们需要思考这样的趋势对GPU、互连技术以及面板产业等整个供应链会带来什么影响。”
zI1esmc
