据外媒报道，美国专利商标局（U.S. Patent and Trademark Office）授予了苹果公司一项泰坦项目专利，即用于推理、决策和运动规划的机器学习系统和算法，以控制自动驾驶或部分自动驾驶的车辆。

苹果泰坦项目概念图（图片来源：patentlyapple.com）

机动车辆可以感知环境，并在没有或仅有少数持续输入的情况下进行导航，因此被称为自动驾驶或无人驾驶车辆，是当前研究和开发的重点。近日，由于收到可用硬件和软件的限制，执行用于分析车辆外部环境相关计算的最大速度还不足以在无人工指导下做出重要的导航决策。然而，即使使用快速处理器、大内存和先进算法，在不可预测的行为背景下，自动驾驶车辆在客观上也很难做出及时和合理的决策。不仅如此，车辆环境相关的静态和动态组件数据也不够完整，且干扰信息很多。

通过采用基于神经网络的强化学习模型，各种方法和装置实例可评估自动驾驶车辆不同大小的行动空间。根据一些实例，一种方法可包括确定自动驾驶或部分自动驾驶车辆在出行各个时间点当前状态的表示。

关于当前状态，该方法还可包括可行的识别操作。例如，在一个实例中，使用车辆传感器捕获的数据可在车辆的行为规划器决策组件处进行本地处理，并与地图信息相结合，以确定当前状态和可行动作。

在美国某些州，当车辆在较为空旷，且几公里或几英里内无转弯的直线高速公路上行驶时，要评估的动作数量可能相对较少；但在其他州，当车辆接近拥挤的十字路口时，动作的数量可能会较多。

在各种实例中，每个动作可以包括多个不同组成属性或特性，例如起点/源车道段（评估动作时车辆所在的车道段）、目标车道段（如果执行该动作，车辆将位于的车道段），目标车道段中的目标速度，相对于一个或多个其他车辆或物体的定位等。

车辆的决策组件可能负责评估给定状态下的不同可行动作，选择其中一个动作进行实施，将所选动作的抽象表示转换为详细的运动计划，并向车辆的低级运动控制子系统（例如加速子系统、转向子系统等）发出指令，以实现对应于所选动作的轨迹。

在一些少数实例中，多个实例或强化学习模型或可应用于车辆中，以获得动作的相应价值度量，且该价值度量可用于选择要实施的动作。而在另一些少数实例中，基于深度神经网络的机器学习模型（例如使用图形或图像输入训练的卷积神经网络模型）可用于强化学习模型。

苹果的专利图1为系统环境示例图，其中可以使用强化学习模型评估不同大小的动作空间，以助力指导车辆运动。在各种实例中，乘员可能会忽略车辆的决策组件做出决定，甚至暂时禁用车辆的决策组件；此外，在至少一个实例中，车辆的决策部件可以请求或要求乘员在特定条件下做出决策。

苹果专利图1（图片来源：patentlyapple.com）

苹果专利图2为自动驾驶车辆决策场景的示例图，并展示了此类决策场景的相关问题特征。该系统必须了解驾驶员当前路线以及并道的方式和时间；何时驶出坡道或变道；了解多种车速，以确保并道安全；检测路况；了解路标和路灯（停车、小心、前行）等等。该系统需要实时处理很多信息。

苹果专利图2（图片来源：patentlyapple.com）

苹果专利图9为状态和动作属性或属性的示例，其中的对应因素可被识别仅编码中，用于输入强化学习模型。

苹果专利图9（图片来源：patentlyapple.com）

对于给定的可行动作，要在编码中表示的属性或属性集（#973）可以包括，例如，源或当前车道段（#901）、目标车道段（#902）、目标速度或速度（#903）、相对于目标车道段中的一辆或多辆其他车辆的相对定位选项（#904），以及上述实例轨迹中的可选叠加地图修改（#905）。