(相关资料图)

苹果 Vision Pro 手部追踪及手指手势相关新专利曝光

早在 2017 年，苹果就从蒙特利尔的 Vrvana 获得了一项与手部追踪技术有关的专利。近日，美国专利商标局正式授予苹果一项与 Apple Vision Pro 主要功能相关的专利：手部追踪和手指手势。

苹果专利指出，沉浸感的质量取决于几个重要因素。例如，显示器的特性，如图像质量、帧率、像素分辨率、高动态范围 （HDR）、持久性和纱窗效应（即屏幕上像素之间的可见线）。

当显示的视野太窄或各种追踪功能缓慢和/或不准确（导致定向障碍和恶心；也称为晕动症）时，沉浸式体验的质量会降低。

沉浸感还受到相机系统性能的影响，例如图像质量（干扰、动态范围、分辨率、无伪影）以及虚拟图形（3D 建模、纹理和照明）与透视图像之间的一致性。在 MR 中，虚拟元素实时合成到用户看到的真实环境中。虚拟元素与现实世界的表面和对象之间的物理交互可以实时模拟和显示。

追踪各种元素通常被认为是实现高端 VR 和 MR 应用体验的必要先决条件。在这些元素中，头部位置追踪、用户身体追踪和环境追踪在实现出色的沉浸感方面起着关键作用。

头部位置追踪（从这里开始称为位置追踪）旨在估计 HMD 在环境中的位置和方向，必须既低延迟又准确。这样做的原因是渲染的图形必须与用户的头部运动紧密匹配，以便在 VR 中产生高质量的沉浸感，并且需要在 MR 中正确对齐现实世界中的虚拟内容。

用户身体追踪估计用户身体（但不限于手和手指）相对于 HMD 的位置和方向。它可以在 VR 和 MR 中提供一种用户输入方式（例如手势），从而实现与虚拟元素的交互。虽然一些位置追踪方法也可用于手部追踪（例如，手持控制器上带有 LED 阵列的红外摄像头），但其他方法利用较小的分析空间（通常距离 HMD 一米以内）来提高手部和手指追踪算法的稳健性。

例如，近距离飞行时间（ToF）摄像头可以与 HMD 集成或放置到 HMD 中。这些摄像头可以生成手的深度图，从中可以构建手的骨骼模型。另一种方法是将红外 LED 泛光灯与摄像头一起使用，以分割和估计手和手指上的 3D 点。

苹果专利图 1 是佩戴头戴式显示器（HMD）用户的示意图，该显示器配有多个摄像头和红外（IR）发射器；图 2A 是用于实现 VR 和 MR 的光学器件、显示器和摄像头的示例性实施方案的俯视图。

苹果专利图 4A 显示了 HMD 设备的第一个示例性实施方案的前视图，其中两个 RGB 摄像头针对透视目的（MR）进行了优化，两个红外摄像头为追踪提供了视觉数据；图 5 是实现 VR 的处理步骤的流程图，具有位置和用户身体追踪；图 8 是实现用户身体追踪的示例性过程的流程图。它还包括手势识别。