微软(Microsoft)在日前于布鲁塞尔举办的IMEC技术论坛上揭密其HoloLens增强实境(AR)眼镜及其专用加速器——Holographic Processing Unit(HPU)处理单元。4HUesmc
在今年3月下旬,微软已经开始出货HoloLens的开发人员版了。这款开发人员版HoloLens一发布,网络上随即充斥着各种拆解分析,但至今却未见来自这款头戴式显示器的设计者发表任何评论。4HUesmc
“我们已经发表HoloLens约18个月了,通常仅强调使用体验与软件——这是第一次我们打算讨论硬件部份,”微软HoloLens开发部门副总裁Ilan Spillinger表示。4HUesmc
微软的HoloLens头戴式显示器包括4个环境传感器、Kinect微型深度相机以及惯性量测单(IMU)。而在其核心部份的HPU基本上是一款数据融合传感器,可以从HoloLens上的一连串传感器撷取输入。同时,它还能加速算法,以利于追踪用户的环境、运动与手势,以及显示全息影像。4HUesmc
这款28nm HPU基本上采用高度客制化的DSP数组设计,运行功耗还不到10W。它包括多颗Tensilica DSP核心,从而为执行数百个HoloLens特定指令集实现优化。每个核心都针对一种特定功能与功能子集而客制化。在听起来像是范纽曼(Von Neumann)的架构中,每个核心通常都有其独特的内存单元组织,用于加速“需要特殊本地内存与独特内存架构的新型算法,而不是典型的1-2-3级快取,”Spillinger解释。
HoloLens头戴式设备采用英特尔(Intel)14nm Cherry Trail SoC,以及执行于Windows 10的嵌入式绘图核心。在主板的两侧还搭载64Gb闪存与2Gb外内存,平均分布于其HPU与Cherry Trail SoC之间。4HUesmc
Spillinger并未透露这款HPU的开发蓝图,但表示他已经“看到一些可执行该算法的新机会”。该HPU也适用于Google上周为其数据中心发布的新款加速器,以及一家新创公司正开发中的设计。Spillinger呼吁半导体工程师尽快为开发更高性能、更低功耗的芯片做好准备,从而协助其打造更轻巧、更低成本且搭载更多传感器与功能的头载式显示器。4HUesmc
Ilan Spillinger的职业生涯一开始是先在英特尔开发Centrino——其首款笔记本电脑专用处理器。接着曾经在IBM设计Infiniband与Power芯片,后来则协助微软与任天堂(Nintendo)为Xbox 360与Wii游戏机开发ASIC芯片。4HUesmc
Spillinger在2007年底加入微软,并开始开发Kinect。该计划后来与其他工程师的计划合并,共同开发扩增实境头戴式显示器,而HoloLens计划也随之诞生。
如上图中的HoloLens传感器数组包括4颗环境传感器,用于追踪头部动作以及控制显示器的手势。深度传感器是缩小版的Kinect,可支持手势追踪约1公尺范围的短距离模式,以及映像室内的长距离模式。200万画素(2MPixel)的高分辨率视频相机则用于投射用户看到的影像。
光学子组件(上图)包括合专用规格的惯性测量单元。光学组件使用由微软开发和生产的光栅技术,支持较宽广的瞳孔间距离,并可为配戴隐形眼镜或眼镜的用户进行调整。4HUesmc
LCoS显示器支持230万画素与精确度,让用户预测与读取Web浏览器上的精密文字。
早期的原型(上图)采用全尺寸的Kinect深度传感器和各种子组件,最终重新设计成封装大量材料成本(BOM;见下图)的简洁消费版)。
4HUesmc