元宇宙：技术和标准加速落地，产业市场蓄势待发

　　百余年前，电动汽车早于燃油车被发明，而直到百余年后，它才迎来大发展。“Metaverse(元宇宙)”一词被创造于1992年，两年后，网景才成立。不过不同的是，网景一成立便被热捧，而Metaverse直到近些年才开始受关注。r93esmc

　　“今天标志着计算技术新时代的开端。”北京时间6月6日凌晨 Apple CEO Tim Cook在 WWDC2023大会上表示，“如同Mac将我们带入个人计算时代，iPhone 将我们带入移动计算时代，Apple Vision Pro将带我们进入空间计算时代。” 此前，Meta CEO认为元宇宙是继互联网之后的计算平台，可以将其看作是实体化的互联网。r93esmc

　　计算机被视作人类历史上第三次信息技术革命的代表，互联网又让其构成了完整的“网络世界”，现在我们期待新技术将带来“空间计算时代”——超越现实的虚拟世界!r93esmc

　　XR设备四大核心部件：显示、光学、芯片、传感

　　元宇宙(Metaverse)，是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。整个“元宇宙”产业链涉及范畴非常广泛，由虚拟现实(VR)、增强现实(AR)和混合现实(MR)组成的扩展现实(XR)设备则是产业链中最基础的硬件和最底层关键入口。r93esmc

　　从XR设备涉及的技术层面而言，其包括了显示、光学、运动传感器、处理器、储存、无线连接等组件。如果将其简化，核心部分主要集中在显示、光学、芯片与传感(感知，交互技术)。r93esmc

　　总体而言，XR设备产品形态大同小异，但其核心光学和显示方案却不尽相同，进而带来产品成本、价格、性能和用户体验的不同。简洁设计，高端用料，精湛工艺，是苹果公司在产品开发中始终所秉承的，所以其最新的“空间计算“设备Vision Pro也是如此。r93esmc

　　显示r93esmc

　　资料显示，Vision Pro搭配两块1.3寸2300万像素的MicroOLED(硅基)显示屏，单目分辨率超过4K。其中，MicroOLED基板由台积电生产，正面OLED屏幕由LG提供，而带有彩色滤光片的OLED前面板则由索尼提供。苹果公司称，通过两个超高分辨率的显示屏，Vision Pro可将任何空间转换成个人影院，屏幕感受如同100 英尺之宽阔。而从公开的BOM表单成本来看，LG、索尼分别赚取了30、700美元，合计约占1509美元总成本的48.38%，这部分也是设备中最昂贵的组件。r93esmc

r93esmc

　　据知情人士透露，尽管Vision Pro原型机选择了MicroOLED屏幕，但苹果公司一直对供应商的产能不满意，尤其是MicroOLED的良率。对此，索尼半导体部门负责人在此后解释称，索尼对混合现实头显市场的扩张程度持谨慎态度，不愿大幅提高产量。r93esmc

　　此外，为了压低价格，苹果公司也在与三星和LG合作开发新一代产品，同时这家公司也在尝试使用其他显示屏技术，比如MiniLED屏幕。知情人士称，尽管所有供应商都未能实现其预期效果，但苹果公司仍坚持在非Pro设备上使用微型OLED屏幕。r93esmc

　　光学r93esmc

　　由于一体式设计趋势驱动，VR设备的升级更多在于光学方案，比如2022年更多VR厂商开始用Pancake替代菲涅尔透镜，中小型厂商也在稳步跟进。Pancake基于偏振折叠原理实现窄小空间内光线传递与视角放大。Pancak相比菲涅尔，不仅有效减小了厚度和重量，而且成像质量更好，还支持屈亮度调节，尽管其仍然存在光效低、易产生伪影 、FOV小、成本高等劣势，但Pancake正在成为VR设备主流光学方案，苹果Vision Pro也采用了全新的Pancake光学模组技术。r93esmc

　　在AR市场，随着各类技术推陈出新，设备硬件正向着更轻薄，更低功耗，更小体积，更舒适的佩戴体验更迭，其光学成像系统也相继得到升级。r93esmc

　　据光峰科技向《国际电子商情》介绍，AR从显示架构上而言，比较接近于我们常规认识上的小投影机，只不过这个投影机非常微型，但也意味着它可以用传统投影用的DMD&LCoS显示芯片，来动态产生图片，这是投影机里用到的处理芯片。同时，AR需要让用户同时看到虚拟的画面和现实的画面，所以它有另外一个部件，光学组合器。r93esmc

r93esmc

　　据光峰科技指出，AR眼镜光学方案经历了从棱镜、自由曲面、Birdbath、阵列光波导到如今衍射光波导，从这两年的新品以及光博会上观察到的现象来看，衍射光波导趋势非常明显，几乎成为了各光学方案企业的兵家必争之地。数据显示，近一年全球发布的 AR 眼镜使用光波导、BirdBath 和自由曲面的比例分别为36%、32%、20%。r93esmc

　　过去光波导受诟病多的是亮度不够高，所以光峰科技主要针对这一痛点进行技术攻关，在去年的5月发布了其自研的全场景AR光学模组，能够解决行业对轻量化可适应日常佩戴的痛点，满足室内室外多适用场景所需的亮度需求。该公司采用衍射波导作为光学组合器的方案，实现超过85%的透过率，让镜片足够轻薄，从而达成轻量化需求;同时大幅度提高整个模组的显示亮度，使其在户外等亮度较高的场景下，也具有一定的可用性，做到全场景AR显示。r93esmc

　　光峰科技认为，在同样的尺寸内实现更高的分辨率，即在显示器件上实现更高的PPI，将成为AR显示未来重要的技术方向。因此，基于光学、结构、算法等多技术领域创新，该公司研发了 SPD(super pixel density)技术，能够在0.5cc(立方厘米)的体积内，实现了超过1万的PPI、720p的分辨率、40度的视场角和200mW以下的功耗，在同等的体积下，图像清晰度高出行业平均水平一倍之多，同时也成为了全球首个突破1万PPI的商用AR光学模组。r93esmc

　　除屏幕和光学组件外，芯片和传感器是XR设备成本构成占比最高的部分。r93esmc

　　芯片r93esmc

　　在XR主芯片市场仍由高通一家独大，且地位稳固，例如Meta Quest Pro、PICO 4就搭载了Snapdragon XR2芯片。XR2平台是高通专门面向XR设备打造的专用芯片平台，不仅支持出色的CPU和GPU性能，还面向XR设备要求的特性，如视频带宽、分辨率、以及AI性能方面进行了重点优化。r93esmc

苹果官网r93esmc

　　目前，元宇宙头戴设备主流芯片解决方案有两种模式，一种是双芯片方案，也被称作“融合方案”，一种是高度集成单芯片(SoC)方案。其中，“主处理器+协处理器”双芯片方案是市场的主流选择，究其原因，可参考苹果Vision Pro搭载的自研“主处理器+协处理器”双芯片设计。r93esmc

　　Vision Pro搭载M2和R1两大核心芯片，其中M2作为主芯片执行计算和多任务处理，专有R1芯片则与Vision Pro内外的所有传感器协同工作。苹果公司称，“强大的M2 芯片同时运行VisionOS，执行先进的计算机视觉算法，并提供令人惊叹的图形。全新的R1 芯片专门用于处理来自摄像头、传感器和麦克风的输入，在12毫秒内将图像传输到显示器(比眨眼速度快8倍)，从而实现几乎无延迟的实时世界视图。r93esmc

　　另外，从成本层面而言，设备主要芯片(不含各类传感器)占据整机成本超过10%。例如2022年9月字节跳动发布的VR一体机Pico 4，其综合硬件成本约368美元，其中仅高通Snapdragon(骁龙)XR2成本约为60美元，占比为16%。Vision Pro M2处理器、R1协处理器芯片在BOM表单的成本价分别为120、60美元，合计占据总成本的11.93%。r93esmc

　　虽然像华为海思(Hi3796CV300)、紫光展锐(W517) 、瑞芯微(RK3588)、全志(VR9)等中国本土芯片厂商都有自己的XR方案，但是高通的方案依旧覆盖超过全球过半XR终端。r93esmc

　　根据高通披露数据显示，其骁龙XR计算平台已被超过60款XR设备所使用。例如，全球VR龙头厂商Meta的设备随依旧采用高通方案，不过根据近期外媒报道称，该公司拟效仿苹果公司将自研芯片，此前其尝试以失败而告终。r93esmc

　　目前，传闻Arm拟改变授权模式，如果该举动一旦坐实，这不仅将改变现有AR/VR硬件架构生态，恐将影响高通当前在XR领域的相关布局。此外，正在迅速崛起的RISC-V构架，可能依靠更低的成本和灵活政策优势，不仅或为高通，甚至包括Meta等厂商，带来更多想象空间。r93esmc

　　感知(传感器)交互r93esmc

　　苹果公司称，“Apple Vision Pro 打造无边际画布，让 APP突破传统显示屏的限制，为用户带来全新的 3D 交互体验，以最自然、最直观的输入方式来控制 — 眼睛、双手与语音。”r93esmc

r93esmc

r93esmc

Vision Pro 主要传感器位置r93esmc

　　在XR设备中，头部位置跟踪、用户肢体跟踪和环境跟踪在实现沉浸感方面发挥着关键作用。为此，Vision Pro配备了数量庞大的传感器：集成 12 个摄像头、5 个先进传感器、6 个麦克风系统，音频射线追踪，其可实时监测外部变化以及用户的灵敏反应、精确的眼球追踪。r93esmc

　　苹果公司称，由LED和红外摄像头组成的高性能眼动追踪系统将不可见的光图案投射到每只眼睛上。这种先进的系统提供超精确的输入，无需用户持有任何控制器。由复杂的传感器阵组成的系统还有助于提供精确的头部和手部跟踪以及实时 3D 映像，同时从各种位置理解用户的的手势。r93esmc

　　其他已上市的设备，比如Quest 2仅允许用户使用手部追踪功能以控制界面;PSVR 2仅提供眼动追踪技术用于某些游戏菜单选择与导航;虽然Quest Pro同时采用了眼动与手部追踪技术，但二者不能串联起来进行交互。r93esmc

r93esmc

　　此外，Vision Pro通过引入Optic ID(虹膜生物识别技术)可扫描佩戴者的眼球数据，并匹对此前预设的机主信息。苹果公司称，Optic ID 可以实现自动解锁，亦可支持在线支付等。r93esmc

　　随着元宇宙人机交互由2D走向3D，交互方式逐渐多样化，向人类本能发展，手势交互、姿势交互、眼动交互、语音交互，甚至结合生物信号、周围环境交互的方式不断进化，以及未来随着脑机交互技术的进步，相信空间计算时代将迎来“完全沉浸式“时代。r93esmc

　　人机交互盛行，各厂商不能置身事外。例如艾迈斯欧司朗已在元宇宙人机交互层面做了相应布局。艾迈斯欧司朗大中华区高级市场经理CK Chua表示：“我们拥有一站式的解决方案，其中最具有代表性的是我们OSLON P1616(照明光源)和MIRA220/050(图像传感器)。其中OSLON P1616和Firefly系列尺寸最小，在同类产品中性能优异，通常会被AR/VR的OEM厂商使用。”r93esmc

　　根据《国际电子商情》了解，MIRA220(全局快门)是专为手部跟踪、手势识别等应用而设计，具有市场上最高的信噪比，并兼备最小的尺寸以及最低的功耗。除了手势识别，该公司也有更适合眼动追踪的MIRA050(全局快门)。此外，艾迈斯欧司朗还有一个重磅产品值得一提——其晶圆级光学技术。该技术有助于将接收器组装成最小的相机模块，从而保证终端产品美观、简洁。r93esmc

　　通过视觉识别、SLAM等技术，将现实世界映射到虚拟世界中，同时通过AI支持的3D重建、图像生成等技术，将虚拟世界的场景又映射到现实世界，相互增强。对此，CK Chua称，艾迈斯欧司朗在此领域进行了用于3D重建的深度融合，这帮助该公司对客户的硬件需求有了更好的理解，并以此研发、优化其在传感、可视化和照明领域的产品。r93esmc

　　系统建设与生态完善

　　依靠在macOS、iOS 和 iPadOS 的积累，苹果为Vision Pro 搭载了全球首创的空间操作系统 VisionOS。苹果公司称，通过VisionOS提供3D界面，Vision Pro让用户利用无边际的屏幕面积来提高生产力、获取常用的 App和打开全新的多任务处理方式。r93esmc

　　同时，为了拓展Vision Pro应用，开发者可以使用 Apple 平台早已熟悉的基础框架，例如 Xcode、SwiftUI、RealityKit、ARKit 和 TestFlight 等工具创建新型App。为了帮助开发者优化VisionOS App与游戏3D内容，Xcode 推出全新工具 Reality Composer Pro，供开发者预览和准备3D模型、动画、图像和声音，让它们在Vision Pro里呈现惊艳效果。开发者还能在全新VisionOS模拟器中与 App进行交互，探索和测试多种房间布局和光线条件。据悉，所有开发者框架都内置了对 Apple 创新性的辅助功能的支持，确保所有人都能无障碍体验空间计算技术和 VisionOS App。r93esmc

　　6月22日，苹果推出了VisionOS 1.0开发者测试版(VisionOS 1.0 Developer Beta)以及visionOS SDK。作为一款空间计算设备，Vision Pro强调将应用内容自然叠加到物理空间中展示，VisionOS的模拟器也提供了客厅、厨房和博物馆等多种场景供测试，每种场景还可以选择白天或夜晚两种光照条件。苹果公司表示，这些虚拟环境都是根据真实的地点和景色制作的，可以让用户感受到身临其境的效果。r93esmc

　　根据网络传出的体验效果反馈来看，VisionOS融合了iOS、iPadOS、macOS、watchOS等之所长，比如整体App架构和iPadOS相近;图标与排列方式像Apple Watch，控制中心和macOS类似。r93esmc

　　此外，为给开发者提供实践体验，苹果公司表示将于今年7月在库比提诺等6城设立开发者实验室，开发者可在Vision Pro 硬件上测试他们的App，并获取工程师的支持。开发者团队还可申请开发者套件，帮助他们直接在Vision Pro 上快速进行构建、迭代、测试。r93esmc

　　不只操作系统可借鉴以往积累，甚至是App Store原有资源也将成为该公司拓展Vision Pro应用生态的基石。r93esmc

　　在WWDC2023大会上苹果公司表示，Vision Pro 全新的 App Store 让用户可以发掘开发者提供的App和内容，并获取数以十万计熟知的 iPhone 和 iPad 上的App，这些都能在Vision Pro 新系统上自动顺畅地运行。Apple 的开发者社群能够更深入利用 Vision Pro 和 VisionOS 既强大又独特的功能，来设计全新的App并为空间计算重塑现有 App的体验。r93esmc

　　相对于Vision Pro生态正在探索之中，Meta设备的内容生态建设已更为领先和成熟，因为其内容平台包括Quest Store、相对开源的App Lab以及生态补充SideQuest。相比之下，中企字节跳动旗下的Pico Store内容以外采为主，发展仍处于早期阶段。r93esmc

　　业界共同推动标准落地

　　苹果确认支持WebXR标准r93esmc

　　WebVR最早于2015年由Mozilla研发，之后，谷歌Chrome团队/微软加入其中，相继合作推出WebVR API 1.0、2.0。WebVR是一组API(应用程序编程接口)，旨在为基于浏览器的VR体验提供支持。也就是说，采用WebVR编写的网页将可在XR设备内呈现出3D效果。r93esmc

　　此后，由谷歌、Mozilla等巨头组成的 W3C沉浸式网页工作组推动WebXR 取代WebVR。WebXR是提供给Web内容和应用的API，用于与混合现实硬件(例如具有集成增强现实功能的VR头显和眼镜)交互。这包括管理渲染模拟3D体验所需视图的过程和感知头显(或其他运动感应设备)运动的能力，并提供更新显示给用户的图像所需的数据等。r93esmc

r93esmc

　　今年6月，苹果公司已确认Vision Pro版Safari将支持 WebXR。该公司称，Vision Pro版Safari浏览器基于WebKit引擎开发，除可正常浏览普通网页外，还支持WebXR标准和新的标签，用于在网页中嵌入3D模型。虽然一些功能尚在开发之中，但苹果计划与业界合作完善后，再将其纳入到Safari。r93esmc

　　此前，包括微软、Meta、谷歌、PICO以及Magic Leap等诸多企业，均在各自的XR设备中加入了对WebXR的支持。随着苹果公司宣布Safari加入对WebXR的支持，该标准几乎囊括了所有主流浏览器：Chrome、Firefox、Opera、Edge以及Quest Web、PICO Web、Magic Leap Web、Android版Chrome/Samsung Internet/Opera Mobile/Firefox。r93esmc

　　业界统一开发接口标准r93esmc

　　除此之外，业界也在推进XR设备统一开发接口标准。r93esmc

　　OpenXR的推出则是元宇宙XR设备领域的一个重要里程碑。这一API将允许游戏和其他应用程序在各种硬件平台上轻松运行，而无需专有的SDK。2019年7月OpenXR 1.0规范正式发布;2020年7月，由开放联盟KhronosGroup宣布Oculus和Microsoft正在推出多个符合OpenXR标准的实施方案，首批设备通过一致性测试;2021年3月SteamVR正式支持OpenXR。目前，该标准已相继获得Meta、Sony、Valve、Microsoft、HTC、NVIDIA 和 AMD 等厂商支持。r93esmc

OpenXR支持厂商r93esmc

　　OpenXR标准不仅得到业界的普遍认可，同时各大公司都以实际行动表明了支持决心。例如在2020年6月，Valve宣布将全力转向使用OpenXR标准，并呼吁开发者积极使用SteamVR OpenXR开发者预览版。翌年7月，Meta宣布计划废除已有的Oculus Mobile和Oculus OC SDK，并将OpenXR兼容性支持纳入到新发行Quest App的基本要求。尽管比原计划有延迟，不过Magic Leap还是于今年4月宣布ML2设备原生支持OpenXR标准。r93esmc

　　在推动OpenXR标准的落地进程中，也有来自中国本土品牌的身影。例如PICO已于今年2月宣布，其最新发布的 SDK 包括多项功能更新，完全符合 OpenXR 标准，不仅兼容所有 PICO 耳机，还包括 PICO Neo 3 Pro/Pro Eye、PICO Neo3 link、PICO 4 和 PICO 4 Enterprise。r93esmc

　　芯片和系统厂商助力r93esmc

　　除了终端设备厂商助力OpenXR，芯片领导厂商高通也于2021年11月推出使用OpenXR的Snapdragon Spaces XR开发平台。作为XR设备主流的计算处理平台的主要提供商，高通对OpenXR的适配可极大地促进该标准的推广。r93esmc

r93esmc

　　无独有偶。2022年初，高通还曾宣布将与微软共同推动元宇宙生态系统发展，包括开发定制化AR芯片以打造新一代高能效、轻量化AR眼镜，从而提供丰富的沉浸式体验;并计划集成Microsoft Mesh应用和骁龙Spaces XR开发者平台等软件。r93esmc

　　此外，2022年1月，微软打造了元宇宙平台Mesh for Microsoft Teams和Dynamics 365 Connect。微软表示Mesh for Teams支持电脑、头戴式设备接入，并且结合了Microsoft Mesh的混合现实功能，可以实现线上办公、参加会议等功能。r93esmc

　　去年年底，微软曾宣布扩展其跨平台工具 Mixed Reality Toolkit 3(MRTK3)的跨平台互操作性，现在MRTK3已支持高通骁龙 Spaces XR 平台。r93esmc

　　由于MRTK3是在OpenXR上原生构建，因此它可以在基于 OpenXR 的设备(包括 HoloLens 2、Meta Quest 2、Magic Leap 2 和 Ultraleap 等)上高度移植。这种减少碎片化的方式有助于缩短 MR 应用和游戏开发人员的耗时，甚至包括 AR/VR 项目。今年6月初，微软宣布基于开源的MRTK3将于第三季某个时候全面推出。r93esmc

r93esmc

　　联盟组织协同r93esmc

　　2022年6月，由Khronos Group发起，包括Adobe、Autodesk、Epic Games、Unity、Meta、微软、nVidia、OTOY、高通和索尼等公司参与创立了Metaverse Standards Forum(简称MSF)。MSF成立的目的是就构建开放式的元宇宙所需的互操作性标准，进行全行业合作，以及探讨如何加速标准开发组织定义并推动元宇宙标准制定相关的工作。今年4月，MSF宣布已合并为一个独立的非营利行业联盟。新联盟正在就即将成立的工作组的章程达成共识，其中包括：3D网络互操作性、可互操作的化身和角色、数字时尚和可穿戴设备、元宇宙网络要求、最终用户故障排除以及元宇宙隐私、网络安全和身份信息等。r93esmc

图片来自Metaverse Standards Forumr93esmc

　　今年7月，Web3开放元宇宙联盟(OMA3)公布了一项计划，即构建世界间门户系统(IWPS)。OMA3称，IWPS的发展和标准化将迎来元宇宙的下一个前沿，释放3D虚拟空间中连接、商业和共享体验的新潜力。r93esmc

　　娱乐是现在，产业市场才是未来

　　尽管Meta较早入局元宇宙，但是其主要市场还是在游戏娱乐，而办公、社交等轻量化应用亦不成气候。今年1月，微软旗下的社交虚拟现实(VR)平台AltpaceVR宣布关停，已说明社交虚拟现实还不成熟。r93esmc

　　微软CEO Satya Nadella曾表示：“元宇宙本质上就是游戏。” 虽然这种说法有些偏颇，但从现阶段情况而言，当前或在一段时期内，游戏娱乐将成为元宇宙消费的主力市场。极力推动收购动视暴雪(Activision Blizzard)，正是微软看重了这家全球最大的第三方游戏开发和互动娱乐内容发行商在游戏领域的积淀，其中就包括560余件专利与元宇宙相关。可以说，微软收编暴雪是借游戏端口布局元宇宙。r93esmc

　　投资娱乐只是现在，未来产业市场才更宽广。r93esmc

　　现有以及正在发展中的技术，包括数字孪生、人工智能和机器学习、扩展现实、区块链、云和边缘计算，将成为工业元宇宙的基石。据TMR估计，2022 年全球工业元宇宙市场估值约221亿美元。2023年到2031年，工业元宇宙市场复合年增长率或将达17.5%，到2031年，该市场或增长至935亿美元。长远来看，该市场未来潜力更为宽广。r93esmc

　　为此，2022年10月，微软宣布成立新团队“工业化元宇宙核心(IMC)”，计划帮助客户创建身临其境的新软件界面，用以挖掘电厂、工业机器人和交通网络背后的工业控制系统市场。r93esmc

　　在工业元宇宙应用进程方面，例如从2016年左右，ABB已开始应用VR眼镜，在项目中工程师会基于VR技术在办公室中远程编程，然后到现场进行最后的部署和调试，借此可以大大缩短在现场调试的时间。2022年，西门子和英伟达宣布联合创建工业元宇宙。这项合作有赖于西门子在工业自动化和软件、基础设施、建筑技术和交通领域的声誉，以及英伟达在加速图形和人工智能领域的先锋地位。此前，还有类似达索等一些老牌工业企业、Autodesk等设计软件公司，也曾介入到工业元宇宙中。r93esmc

　　据预测，由于存在PTC、 NVIDIA，Microsoft等主要技术公司，预计北美公司将主导全球工业元宇宙市场。而工业元宇宙在亚太地区业务发展将会出现显着的复合年增长率，因为该地区拥有中国、印度、日本和韩国等大型增长经济体的存在，这些经济体拥有强大的制造业和巨大的技术变革潜力。r93esmc

　　此外，将元宇宙纳入其中，正在成为下一代数字医疗的愿景。例如PTC利用数字孪生技术帮助飞利浦推动其数字化转型进程，数字孪生是将虚拟世界与真实世界相关联的仿真技术。GE医疗与微软混合现实合作伙伴联合开发了基于HoloLens2的混合现实训练系统。除了医学培训，它还可以用于手术导航、手术预案解释。r93esmc

　　结语

　　当前，元宇宙仍处于萌芽期，其关键技术和生态应用尚需突破与完善，同时市场仍待成熟和扩大，且其发展还将遇到各种挫折和质疑之声。但即便如此，我们对未来仍应充满期待，因为这本就是我们对世界应有的态度。r93esmc