近日，美国专利商标局公布了苹果的一项专利申请，涉及使用传感器数据通过多个电子设备提供共享体验。更具体地说，该专利涉及在 iphone、ipad、vision pro 和其他投影系统上提供 xr 体验的多用户在线游戏，如纸牌、棋盘或骰子。看来，游戏玩法可能是苹果称之为“通信会话”的未来版本 facetime 的一部分。
追踪多个环境中的物体，提供共享体验
苹果的专利涵盖提供共享 xr 体验的设备、系统和方法，其中两个或多个用户在共享体验期间与各自的一组物理对象（例如纸牌、游戏棋子、骰子、筹码等）进行交互。
每个用户可以有多个物理对象，每个物理对象可以具有相同的通用形状和大小，但有一个特殊的靶标。可以分配每个物理对象的唯一靶标来表示多个虚拟内容项中的一个，并启用与虚拟内容项的物理交互。
系统可以识别每个用户将使用的通用物理对象，并将这些对象与特定的虚拟内容项相关联，以使用户能够通过物理对象与虚拟内容项进行交互。
苹果专利图 1 和图 2 说明了电子设备（iphone）#105 和 #205，它们彼此参与通信会话（facetime），为两个设备的用户 #110 和 #210 提供共享的 xr 体验。
专利的基本机制
在苹果专利图 1 中，iphone 的运行物理环境 #100 是一个房间，包括一张桌子（#140）和一组卡片。例如，卡片 #120a-d 和卡片堆中的其它卡片 #130a-b。卡片 #120a-d 和卡片堆（#130a-b）中的其他卡片包括靶标，在该示例中，这些靶标被表示为唯一的点状图案，例如，卡片 #120a 包括一个或多个特殊的靶标 #125a 的描述，卡片 #120b 包括特殊的靶标 #125b 的一个或多个描述，卡片 #120c 包括一个或多个特殊的靶标 #125c 的描述， 卡片 #120d 包括一个或多个特殊的靶标 #125d 的描述等。
特殊的靶标可以只描绘在每张卡片的一面或两面（例如，正面和背面）。可以使用任何类型的靶标，包括但不限于字母数字、符号、图案、条形码或其他可以通过传感器显示的代码。靶标可以是可见的或不可见的（例如，可通过红外检测等检测）。
定位标记可以是一维、二维或三维的。动态标记可以使用独特的颜色或颜色组合。靶标可以利用物理对象的独特形状、大小或其他外观属性。靶标可以包括读取方向指示器和/或全向性（例如，能够在不识别方向/方位的情况下进行解释）。
在专利图 1 中，iphone 包括一个或多个摄像头、麦克风、深度传感器或其它传感器，这些传感器可用于捕获和评估物理环境和其中对象的信息，以及关于 iphone 用户的信息。例如，在涉及一个或多个其他设备的通信会话期间提供的共享 xr 体验中，有关物理环境和/或用户的信息可用于提供视觉和音频内容。
例如，通信会话可以向一个或多个参与者提供基于物理环境 #100 的摄像头图像和/或深度传感器图像生成的 3d 环境视图，以及基于用户的摄像头图像和/或深度传感器图像生成的用户 #110 的表示。传感器数据可用于识别靶标和/或具有靶标的物体的 3d 位置和/或运动。
iphone 为各自的用户（#110 和 #210）提供 xr 环境的视图。与人们无需借助电子设备即可感知和/或与之交互的物理环境相比，xr 环境是指人们通过电子设备感知和/或与之交互的全部或部分模拟环境。
例如，xr 环境可以包括 ar、mr、vr 内容和/或类似物。使用 xr 系统，可以追踪人的物理运动或其表现形式的子集，并且作为响应，以符合至少一个物理定律的方式调整在 xr 环境中模拟的一个或多个虚拟对象的一个或多个特征。
例如，xr 系统可以检测头部运动，并响应于调整图形内容和声场，其方式类似于这些视图和声音在物理环境中的变化方式。
有许多不同类型的电子系统使人能够感知和/或与各种 xr 环境交互。示例包括但不限于智能手机、平板电脑和台式机/笔记本电脑、头戴式系统、基于投影的系统、平视显示器（hud）、具有集成显示功能的车辆挡风玻璃、具有集成显示功能的窗户、形成镜片的显示器（例如，类似于隐形眼镜）、耳机/耳麦、扬声器阵列、输入系统（例如， 带或不具有触觉反馈的可穿戴式或手持式控制器）
头戴式系统可以配置为接受外部不透明显示器（例如，智能手机）。头戴式系统可以包含一个或多个成像传感器，以捕获物理环境的图像或视频，和/或一个或多个麦克风以捕获物理环境的音频。
介质可以是光波导、全息图介质、光学组合器、光学反射器或其任意组合。在一些实施方案中，透明或半透明显示器可以被配置为不透明。
基于投影的系统可以采用视网膜投影技术，将图形图像投射到人的视网膜上。投影系统还可以配置为将虚拟对象投影到物理环境中，例如，作为全息图或物理表面上。
