用于使用远程协助将自主载具操纵到位置的方法和系统与流程

1.本公开涉及用于使用远程协助将自主载具操纵到位置的方法和系统。


背景技术：

2.载具用于完成各种类型的任务，包括对象和人员的运送。随着技术的进步，一些载具配置有使载具能够以部分或完全自主模式操作的系统。当以部分或完全自主模式操作时，载具操作的导航方面的一些或全部由载具控制系统而非人类驾驶员控制。载具的自主操作可能涉及系统感测载具的周围环境，以使计算系统能够进行规划和安全地导航。


技术实现要素：

3.在本文中描述的示例实施例涉及用于使用远程协助来将自主载具操纵到位置的技术。这些技术可以使远程操作员能够协助受困的自主载具或在自主导航期间可能出现的复杂或意外情形中安全地导航。
4.在一个方面，提供了一种示例方法。该方法可以涉及在计算设备处从在环境中操作的载具接收对协助的请求。该请求指示载具停在第一位置处并指定用于使载具能够从第一位置导航到第二位置的一个或多个导航选项。至少一个导航选项包括在执行之前需要操作员批准的一种或多种操纵技术。该方法还涉及响应于接收到对协助的请求，由计算设备显示传达一个或多个导航选项的图形用户界面(gui)。该方法还涉及，基于检测到对一个或多个导航选项中的特定导航选项的选择，由计算设备向载具发送指令以执行特定导航选项。载具被配置为通过在监视环境中的一个或多个改变的同时执行特定导航选项而从第一位置导航到第二位置。
5.在另一方面，提供了一种示例系统。该系统可以包括载具和计算设备。计算设备被配置为从在环境中操作的载具接收对协助的请求。该请求指示载具停在第一位置处并指定用于使载具能够从第一位置导航到第二位置的一个或多个导航选项。至少一个导航选项包括在执行之前需要操作员批准的一种或多种操纵技术。该计算设备还被配置为响应于接收到对协助的请求，显示传达一个或多个导航选项的图形用户界面(gui)。该计算设备还被配置为，基于检测到对一个或多个导航选项中的特定导航选项的选择，向载具发送指令以执行特定导航选项。载具被配置为通过在监视环境中的一个或多个改变的同时执行特定导航选项而从第一位置导航到第二位置。
6.在又一示例中，提供了一种示例非暂时性计算机可读介质，其中存储有可由计算设备执行以使得计算设备执行功能的程序指令。这些功能可以包括从在环境中操作的载具接收对协助的请求。该请求指示载具停在第一位置处并指定用于使载具能够从第一位置导航到第二位置的一个或多个导航选项。至少一个导航选项包括在执行之前需要操作员批准的一种或多种操纵技术。这些功能还包括响应于接收到对协助的请求，显示传达一个或多个导航选项的图形用户界面(gui)。这些功能还包括，基于检测到对一个或多个导航选项中的特定导航选项的选择，向载具发送指令以执行特定导航选项，其中，载具被配置为通过在
监视环境中的一个或多个改变的同时执行特定导航选项而从第一位置导航到第二位置。
7.上述发明内容仅是说明性的，并不旨在以任何方式进行限制。除了上述说明性方面、实施例和特征之外，通过参考附图和以下详细描述，进一步的方面、实施例和特征将变得显而易见。
附图说明
8.图1是示出了根据示例实现方式的载具的功能框图。
9.图2a示出了根据一个或多个示例实施例的载具的侧视图。
10.图2b示出了根据一个或多个示例实施例的载具的俯视图。
11.图2c示出了根据一个或多个示例实施例的载具的前视图。
12.图2d示出了根据一个或多个示例实施例的载具的后视图。
13.图2e示出了根据一个或多个示例实施例的载具的附加视图。
14.图3是根据一个或多个示例实施例的计算系统的简化框图。
15.图4是根据一个或多个示例实施例的用于计算设备和载具之间的无线通信的系统。
16.图5示出了根据一个或多个示例实施例的显示用于启用远程协助的图形用户界面的计算设备。
17.图6a示出了根据一个或多个示例实施例的涉及载具在导航期间遇到障碍物的场景。
18.图6b进一步示出了根据一个或多个示例实施例的载具响应于遇到在图6a中所示的场景中的障碍物而确定导航选项。
19.图6c示出了根据一个或多个示例实施例的用于启用向图6a和6b中所示的载具提供的远程协助的图形用户界面。
20.图7是根据一个或多个示例实施例的用于使用远程协助将自主载具操纵到位置的方法的流程图。
21.图8是根据一个或多个示例实施例的计算机程序的示意图。
具体实施方式
22.在下面的详细描述中，参考了形成本文的一部分的附图。在附图中，除非上下文另有说明，否则相似的符号通常标识相似的组件。在详细描述、附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离本文提出的主题的范围的情况下，可以利用其他实施例，并且可以做出其他改变。将容易理解，如在本文中一般地描述和在图中示出的本公开的各方面，可以以多种不同的配置进行布置、替换、组合、分离和设计，所有这些都被明确地预期在本文中。
23.计算、传感器和其他技术的进步已经使载具能够在位置之间安全地自主导航，而无需来自人类驾驶员的输入。通过近乎实时地处理来自载具传感器的对周围环境的测量，自主载具可以在位置之间运送乘客或对象，同时避开障碍物、遵守交通要求并执行通常由人类驾驶员进行的其他动作。将对载具的控制转移到载具控制系统可以允许乘客将他们的注意力集中在驾驶以外的任务上。
24.具有自主能力的载具的可用性还可以促进载具共享的增加使用。载具共享通常可能涉及由整个系统集中管理的载具队伍，该系统被配置为接收来自潜在乘客的请求并调度附近的载具来定位乘客、接载乘客并向乘客提供乘坐以换取费用。在队伍内，每个载具可以满足来自乘客的对乘坐的请求。例如，乘客可以使用智能电话应用或另一计算设备(例如，可穿戴计算设备)向管理载具队伍的系统提交请求。来自潜在乘客的请求可以包括协助系统完成请求的信息，诸如使载具能够进行接载的乘客的当前位置、计划接收运送的乘客的数量以及用于载具放下乘客的一个或多个期望的目的地。在某些实例中，乘客可能具有载具共享系统用来有效管理乘坐请求和对乘坐的支付的配置文件(profile)。响应于接收到请求，系统可以识别和调度队伍内的载具，该载具可以快速行进到乘客的当前位置，并自主地将一个或多个乘客相应地运送到一个或多个期望的目的地。在完成乘坐请求之后，该载具随后可以被调度来为其他乘客提供运送。
25.无论是作为载具共享队伍的一部分操作还是独立地操作，能够自主或半自主操作的载具都可能会遇到可能干扰载具的当前导航策略的复杂或意外的情形。在某些情况下，载具的传感器系统可能检测到可能限制载具的当前导航规划的意外障碍物或多个障碍物的存在。在没有人类驾驶员来解释该情形的情况下，载具可能会默认保持停止，直到获得使得能够安全地继续行进的环境改变的足够的测量为止。然而，在某些实例中，如果环境保持静止并且载具系统无法识别用于进一步导航的安全导航策略，则载具可能会在相当长的时间内保持停止。
26.因为自主载具可能在各种位置导航，所以存在可能导致载具导航系统和/或其他载具系统的导航问题的多种情形。例如，停车场可能包括可能干扰自主载具按照停车场的线路和规则导航的能力的停放的载具、行人、购物车和其他潜在障碍物。在某些情况下，如果太多障碍物干扰了潜在路线，自主载具的导航系统可能会暂时受困。类似地，遇到其他载具之间的事故或道路施工是可能意外地中断自主载具的导航路径的其他示例场景。这些仅是自主载具的当前导航策略可能会受到影响并潜在地以某种方式受到限制的几个示例。
27.本文中描述的示例实施例涉及使用远程协助将自主载具操纵到位置。当自主载具遇到导航进度以某种方式(例如，由一个或多个障碍物或环境的其他改变)受阻的情形时，自主载具可以请求并获得能够帮助载具有效地克服这种情形的远程协助。远程协助可以用于以各种方式帮助载具，诸如路线确定、避障、监视路线执行，和/或使载具能够自主地执行通常未使用的操纵技术(例如，u形掉头和倒车)，等等。人类操作员可以查看载具的情形并以能够帮助载具系统克服复杂或意外情形的某种方式提供远程协助。在一些示例中，远程协助被用作用于人类操作员识别自主载具要执行的路线并随后监视根据人类操作员选择的路线从载具的当前位置到目标目的地的自主载具操纵的方式。在监视载具执行路线的同时，操作员可以在必要时停止自主载具并向自主载具提供进一步的协助。在某些实例中，操作员可以使载具暂时停止、改变路线和/或执行其他操纵。
28.在一些示例中，对协助的请求可以涉及载具通信接口(或另一基于载具的系统)最初经由无线通信向与载具物理地分离定位的一个或多个计算设备(诸如与人类操作员相关联的远程计算设备)发送该请求。对协助的请求可以包括传感器数据(例如，图像、视频和位置信息)和/或可以帮助远程计算设备或人类操作员使用计算设备向载具提供某种形式的协助的其他信息。本文中公开了关于对协助的请求的通信、给定请求内的信息和请求的管
理的进一步细节。
29.如上所述，载具可以提交对协助的请求以获得人类输入，该人类输入可以帮助解决人类驾驶员通常将能够克服的各种情形。自主载具可以确定载具遇到的当前情形可能需要载具执行在自主操作期间载具通常不执行的操纵技术或多种技术。例如，除非经由来自远程操作员的批准而被许可，否则载具可能会被禁止使用某些操纵技术，诸如u形掉头和倒车技术(即后退特定距离)。举例来说，自主载具通常可能限于向前导航，但可能会遇到其中载具执行u形掉头有利的情形。在这种情形下，自主载具可以在执行u形掉头之前利用远程协助来查看和批准u形掉头的执行。在某些实例中，远程操作员可以查看并决定选择(或提供)更适合载具执行的不包括u形掉头的替代导航选项。当自主载具建议涉及其他类型的操纵(例如，由于施工而越过隔离带)和/或涉及在导航期间暂时减小在载具周围维持的安全缓冲区的策略时，远程协助也可以用于批准(或拒绝)。照此，自主载具可以利用远程协助，该远程协助可以涉及人类操作员查看、批准、监视、确定和/或修改可能需要偏离自主导航期间的标准操作和/或遵循的规则的一个或多个导航策略。
30.当利用远程协助时，请求远程协助的自主载具可以被配置为开发和提供一个或多个导航选项以供远程操作员查看和从其选择。特别地，(一个或多个)导航选项可以由载具系统在本地确定并且代表可以使载具能够从其当前位置导航到目标目的地的路线。一个或多个导航选项可以在本地确定以减少为实现远程协助远程所需的资源。当载具确定并建议一个或多个选项以供远程操作员查看时，远程计算设备可以充当为人类操作员提供选项以供查看的平台。在一些示例中，自主载具可以确定用于克服遇到的情形的策略并且如果与执行该策略相关联的置信度低于阈值置信度水平则响应地寻求远程协助。如果多个导航选项对于克服特定情形看起来相对可行则载具也可以寻求远程协助，并且远程协助可用于识别利用哪个选项。因此，远程协助可以使人类操作员能够帮助选择(或确定)策略。
31.在一些情况下，载具可以依赖远程协助来查看和批准涉及在没有批准的情况下可能被禁止的复杂操纵技术的导航策略和/或批准涉及不受欢迎的操纵(例如，驾驶过道路隔离带)或暂时减小载具周围保持的载具的安全缓冲区的策略。在这样的情况下，载具系统可以使用远程协助作为执行在执行之前需要人类操作员批准的导航策略的一种方式。
32.一个或多个导航选项可以与对协助的请求一起呈现或在载具和与远程操作员相关联的计算设备之间建立连接之后呈现。通过在载具本地开发一个或多个导航选项，远程协助过程可以有效地执行，其中，远程计算设备充当使远程操作员能够快速查看和选择特定导航选项以供自主载具利用的显示门户。计算设备可以使用gui传达从载具获得的导航选项和/或其他信息。在一些示例中，计算设备可以使远程操作员能够近乎实时地查看从载具获得的新传感器数据(例如，图像、视频)。
33.在一些示例中，计算设备可以显示使载具能够在其当前位置和目标目的地之间导航的每个导航选项的虚拟路径。虚拟路径可以显示在环境的传感器表示(例如，一个或多个图像)或载具的一般区域的地图表示的顶部。例如，计算设备可以获得传感器数据和/或地图数据并且使用虚拟路径(例如，带有箭头的颜色线)来表示每个导航选项。作为示例，第一导航选项可以显示为橙色虚拟路径，而第二导航选项可以显示为紫色虚拟路径。不同的颜色可以帮助远程操作员在查看期间进行区分。
34.此外，计算设备还可以将每个导航选项的虚拟路径划分为段，其中每对连续段经
由检查点(checkpoint)分离。当自主载具执行导航选项时，载具可以被配置为在载具导航时在每个检查点发送进度更新。通过这种方式，远程操作员能够在载具执行期望的操作时监督(oversee)进度，这还可以使远程操作员能够近乎实时地停止载具或提供对导航策略的其他修改。计算设备可以与用于修改导航选项的一个或多个参数的选项一起显示每个导航选项。例如，远程操作员可以调整与导航选项相关联的路线的一部分。计算设备还可以使远程操作员能够绘制供载具利用的操作员路线。
35.导航选项也可以与帮助远程操作员理解每个选项的信息一起显示。例如，每个导航选项可以包括代表与载具执行一个或多个操纵以完成该导航选项相关联的难度的分数。此外，一些导航选项可以包括何时导航选项包括在执行之前需要来自人类操作员的批准的一个或多个操纵(诸如不受欢迎的操纵)的指示。其他指示也可以与导航选项一起显示，诸如载具可能需要暂时减小其安全缓冲区的指示。
36.在其他实施例中，远程计算设备可以被配置为使用来自载具的传感器数据和潜在地来自其他来源的数据(例如，地图数据)来开发导航选项以呈现给远程操作员以查看。人类操作员还可以帮助识别环境中的对象、调整导航路线、确认或拒绝载具建议的导航选项、检查乘客以及执行其他形式的远程协助。
37.在一些实施例中，远程协助可以涉及在人类操作员与一个或多个载具系统或在载具内行进的乘客之间建立安全通信连接。人类操作员可以近乎实时地接收描绘环境的传感器数据，并立即向载具(或乘客)提供协助。
38.现在将更详细地描述本公开的范围内的示例系统。示例系统可以在汽车中实现或可以采用汽车的形式，但是其他示例系统可以在其他载具中实现或采用其他载具的形式，诸如轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、推土机、雪地摩托、航空器、休闲车、游乐园车、农用设备、建筑设备、电车、高尔夫球车、火车、手推车和机器人设备。其他载具也是可能的。
39.现在参考附图，图1是示出载具100的功能框图，该载具100代表能够完全或部分地以自主模式操作的载具。更具体地，载具100可以通过从计算系统(例如载具控制系统)接收控制指令而在没有人类交互(或减少的人类交互)的情况下以自主模式操作。作为以自主模式操作的一部分，载具100可以使用传感器(例如，传感器系统104)来检测并可能地识别周围环境的对象以实现安全导航。在一些实现方式中，载具100还可以包括使驾驶员(或远程操作员)能够控制载具100的操作的子系统。
40.如图1所示，载具100包括各种子系统，诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算机系统112、数据存储114和用户接口116。载具100的子系统和组件可以以各种方式(例如，有线或安全无线连接)互连。在其他示例中，载具100可以包括更多或更少的子系统。此外，在实现方式内，在本文中描述的载具100的功能可以被划分为附加的功能或物理组件，或者组合为更少的功能或物理组件。
41.推进系统102可以包括可操作以为载具100提供动力运动的一个或多个组件，并且可以包括发动机/马达118、能量源119、变速器120和车轮/轮胎121，以及其他可能的组件。例如，发动机/马达118可以被配置为将能量源119转换成机械能，并且可以对应于内燃发动机、一个或多个电动马达、蒸汽发动机或斯特林发动机中的一个或组合，以及其他可能的选项。例如，在一些实现方式中，推进系统102可以包括多种类型的发动机和/或马达，诸如汽
油发动机和电动马达。
42.能量源119代表可以全部或部分地为载具100的一个或多个系统(例如，发动机/马达118)提供动力的能量的源。例如，能量源119可以对应于汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和/或其他电力的源。在一些实现方式中，能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。
43.变速器120可以将机械动力从发动机/马达118发送到车轮/轮胎121和/或载具100的其他可能的系统。照此，变速器120可以包括变速箱、离合器、差速器和驱动轴，以及其他可能的组件。驱动轴可以包括连接到一个或多个车轮/轮胎121的轮轴(axles)。
44.在示例实现方式内，载具100的车轮/轮胎121可以具有各种配置。例如，载具100可以以独轮车、自行车/摩托车、三轮车或轿车/卡车四轮形式以及其他可能的配置存在。照此，车轮/轮胎121可以以各种方式连接到载具100并且可以以不同的材料(诸如金属和橡胶)存在。
45.传感器系统104可以包括各种类型的传感器，诸如全球定位系统(gps)122、惯性测量单元(imu)124、一个或多个雷达单元126、激光测距仪/lidar单元128、相机130、转向传感器123和节气门/制动器传感器125，以及其他可能的传感器。在一些实现方式中，传感器系统104还可以包括被配置为监视载具100的内部系统的传感器(例如，o2监视器、燃油表、发动机油温、制动器的状况)。
46.gps 122可包括可操作以提供关于载具100相对于地球的定位的信息的收发器。imu 124可以具有使用一个或多个加速度计和/或陀螺仪的配置并且可以基于惯性加速度感测载具100的定位和取向改变。例如，当载具100静止或运动时，imu 124可以检测载具100的俯仰和偏航。
47.雷达单元126可以代表一个或多个系统，该一个或多个系统被配置为使用无线电信号来感测载具100的局部环境内的对象(例如，雷达信号)，包括对象的速度和走向。照此，雷达单元126可以包括一个或多个雷达单元，该一个或多个雷达单元配备有被配置为发送和接收如上所述的雷达信号的一个或多个天线。在一些实现方式中，雷达单元126可以对应于被配置为获得载具100的周围环境的测量的可安装雷达系统。例如，雷达单元126可以包括被配置为耦接到载具底部的一个或多个雷达单元。
48.激光测距仪/lidar 128可以包括一个或多个激光源、激光扫描仪和一个或多个检测器，以及其他系统组件，并且可以以相干模式(例如，使用外差检测)或以非相干检测模式操作。相机130可以包括被配置为捕捉载具100的环境的图像的一个或多个设备(例如，静态相机或摄像机)。
49.转向传感器123可以感测载具100的转向角，这可以涉及测量方向盘的角度或测量代表方向盘的角度的电信号。在一些实现方式中，转向传感器123可以测量载具100的车轮的角度，诸如检测车轮相对于载具100的前轴的角度。转向传感器123还可以被配置为测量方向盘的角度、代表方向盘的角度的电信号和载具100的车轮的角度的组合(或子集)。
50.节气门/制动器传感器125可以检测载具100的节气门定位或制动器定位的定位。例如，节气门/制动器传感器125可以测量油门踏板(节气门)和制动器踏板两者的角度，或者可以测量可以代表例如油门踏板(节气门)的角度和/或制动器踏板的角度的电信号。节气门/制动器传感器125还可以测量载具100的节气门体的角度，该节气门体可以包括提供
能量源119至发动机/马达118的调制的物理机构的部分(例如，蝶阀或化油器)。此外，节气门/制动器传感器125可以测量载具100的转子上的一个或多个制动片的压力，或油门踏板(节气门)和制动器踏板的角度、代表油门踏板(节气门)和制动器踏板的角度的电信号、节气门体的角度以及至少一个制动片施加到载具100的转子的压力的组合(或子集)。在其他实施例中，节气门/制动器传感器125可以被配置为测量施加到载具的踏板(诸如节气门或制动器踏板)的压力。
51.控制系统106可以包括被配置为协助启用载具100的导航的组件，诸如转向单元132、节气门134、制动器单元136、传感器融合算法138、计算机视觉系统140、导航/路径系统142和避障系统144。更具体地，转向单元132可操作以调整载具100的走向，并且节气门134可以控制发动机/马达118的操作速度以控制载具100的加速度。制动器单元136可以使载具100减速，这可能涉及使用摩擦力来使车轮/轮胎121减速。在一些实现方式中，制动器单元136可以将车轮/轮胎121的动能转换为电流以供载具100的一个或多个系统随后使用。
52.传感器融合算法138可以包括卡尔曼滤波器、贝叶斯网络或可以处理来自传感器系统104的数据的其他算法。在一些实现方式中，传感器融合算法138可以提供基于传入的传感器数据的评估，诸如对个体对象和/或特征的评价、对特定情形的评价和/或对给定情形内的潜在影响的评价。
53.计算机视觉系统140可以包括可操作来处理和分析图像以努力确定对象、环境对象(例如，停止灯、道路边界等)和障碍物的硬件和软件。照此，计算机视觉系统140可以使用对象识别、运动恢复结构(sfm)、视频跟踪和计算机视觉中使用的其他算法，例如来识别对象、绘制环境地图(map an environment)、跟踪对象、估计对象的速度，等等。
54.导航/路径系统142可以确定载具100的驾驶路径，这可以涉及在操作期间动态调整导航。照此，导航/路径系统142可以使用来自传感器融合算法138、gps 122和地图以及其他源的数据来导航载具100。避障系统144可以基于传感器数据评价潜在的障碍物并且使载具100的系统避免或以其他方式越过潜在的障碍物。
55.如图1所示，载具100还可以包括外围设备108，诸如无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以提供用于用户与用户接口116交互的控件或其他元件。例如，触摸屏148可以向载具100的用户提供信息。用户接口116还可以经由触摸屏148从用户接受输入。外围设备108还可以使载具100能够与诸如其他载具设备的设备通信。
56.无线通信系统146可以直接或经由通信网络安全地和无线地与一个或多个设备通信。例如，无线通信系统146可以使用3g蜂窝通信，诸如cdma、evdo、gsm/gprs，或4g蜂窝通信，诸如wimax或lte。可替代地，无线通信系统146可以使用wifi或其他可能的连接与无线局域网(wlan)通信。例如，无线通信系统146还可以使用红外链路、蓝牙或zigbee直接与设备通信。在本公开的上下文内，其他无线协议，诸如各种载具通信系统，也是可能的。例如，无线通信系统146可以包括一个或多个专用短程通信(dsrc)设备，其可以包括载具和/或路边站之间的公共和/或私人数据通信。
57.载具100可以包括用于为组件供电的电源110。在一些实现方式中，电源110可以包括可充电锂离子或铅酸电池。例如，电源110可以包括被配置为提供电力的一个或多个电池。载具100还可以使用其他类型的电源。在示例实现方式中，电源110和能量源119可以集
成到单个能量源中。
58.载具100还可包括计算机系统112以执行操作，诸如本文中描述的操作。照此，计算机系统112可以包括至少一个处理器113(其可以包括至少一个微处理器)，其可操作以执行存储在诸如数据存储114的非暂时性计算机可读介质中的指令115。在一些实现方式中，计算机系统112可以代表多个计算设备，这些计算设备可以服务于以分布式方式控制载具100的个体组件或子系统。
59.在一些实现方式中，数据存储114可以包含可由处理器113执行以执行载具100的各种功能(包括上面结合图1描述的那些)的指令115(例如，程序逻辑)。数据存储114还可以包含附加指令，包括用于向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与之交互和/或对其进行控制的指令。
60.除了指令115之外，数据存储114还可以存储诸如道路地图、路径信息以及其他信息的数据。在载具100以自主、半自主和/或手动模式操作期间，载具100和计算机系统112可以使用这样的信息。
61.载具100可以包括用于向载具100的用户提供信息或从载具100的用户接收输入的用户接口116。用户接口116可以控制可以显示在触摸屏148上的交互式图像的内容和/或布局，或启用对可以显示在触摸屏148上的交互式图像的内容和/或布局的控制。此外，用户接口116可以包括一组外围设备108内的一个或多个输入/输出设备，诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。
62.计算机系统112可以基于从各种子系统(例如，推进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制载具100的功能。例如，计算机系统112可以利用来自传感器系统104的输入来估计由推进系统102和控制系统106产生的输出。取决于实施例，计算机系统112可以可操作为监视载具100及其子系统的许多方面。在一些实施例中，计算机系统112可以基于从传感器系统104接收的信号禁用载具100的一些或所有功能。
63.载具100的组件可以被配置为以与它们相应的系统之内或之外的其他组件互连的方式工作。例如，在示例实施例中，相机130可以捕捉多个图像，这些图像可以代表关于以自主模式操作的载具100的环境的状态的信息。环境的状态可以包括载具在其上操作的道路的参数。例如，计算机视觉系统140能够基于道路的多个图像识别斜坡(坡度)或其他特征。此外，gps 122和计算机视觉系统140识别的特征的组合可以与存储在数据存储114中的地图数据一起使用以确定特定道路参数。此外，雷达单元126也可提供关于载具周围环境的信息。
64.换言之，各种传感器(其可被称为输入指示和输出指示传感器)的组合和计算机系统112可以交互以提供被提供以控制载具的输入的指示或载具的周围环境的指示。
65.在一些实施例中，计算机系统112可以基于由除无线电系统之外的系统提供的数据来做出关于各种对象的确定。例如，载具100可以具有被配置为感测载具的视场中的对象的激光器或其他光学传感器。计算机系统112可以使用来自各种传感器的输出来确定关于载具的视场中的对象的信息，并且可以确定到各种对象的距离和方向信息。计算机系统112还可基于来自各种传感器的输出来确定对象是期望的还是不期望的。此外，载具100还可以包括远程信息处理控制单元(telematics control unit，tcu)160。tcu 160可以通过一种
或多种无线技术实现载具连接和内部乘客设备连接。
66.尽管图1将载具100的各种组件(即无线通信系统146、计算机系统112、数据存储114和用户接口116)示出为被集成到载具100中，但是可以与载具100分离地安装或者关联这些组件中的一个或多个。例如，数据存储114可以部分或全部地与载具100分离存在。因此，可以以可分离地或一起定位的设备元件的形式提供载具100。构成载具100的设备元件可以以有线和/或无线方式通信地耦接在一起。
67.图2a、2b、2c、2d和2e示出了载具100的物理配置的不同视图。各种视图被包括以描绘载具100上的示例传感器定位202、204、206、208、210。在其他示例中，传感器可以具有载具100上的不同定位。虽然载具100在图2a-图2e中被描绘为厢式货车，但是在示例内，载具100可以具有其他配置，诸如卡车、轿车、半挂卡车、摩托车、公共汽车、班车、高尔夫球车、越野车、机器人设备或农用车，以及其他可能的示例。
68.如上所讨论的，载具100可以包括耦接在各种外部位置(诸如传感器定位202-210)处的传感器。载具传感器包括一种或多种类型的传感器，每个传感器被配置为从周围环境捕捉信息或执行其他操作(例如，通信链路、获得整体定位信息)。例如，传感器定位202-210可以充当一个或多个相机、雷达、lidar、测距仪、无线电设备(例如，蓝牙和/或802.11)和声学传感器以及其他可能类型的传感器的任意组合的位置。
69.当被耦接在图2a-2e中所示的示例传感器定位202-210处时，可以使用各种机械紧固件，包括永久性或非永久性紧固件。例如，可以使用螺栓、螺钉、夹子、闩锁、铆钉、锚固件和其他类型的紧固件。在一些示例中，可以使用粘合剂将传感器耦接到载具。在进一步的示例中，传感器可以被设计和构建为载具组件的部分(例如，载具反射镜的部分)。
70.在一些实现方式中，可以使用可操作以调整一个或多个传感器的取向的可移动安装件将一个或多个传感器定位在传感器定位202-210处。可移动安装件可以包括可以旋转传感器以便从载具100周围的多个方向获得信息的旋转平台。例如，位于传感器定位202处的传感器可以使用使得能够在特定角度和/或方位角(azimuths)范围内旋转和扫描的可移动安装件。照此，载具100可以包括使一个或多个传感器能够安装在载具100的车顶顶部的机械结构。另外，在示例内，其他安装位置也是可能的。在一些情形下，耦接在这些位置处的传感器可以提供数据，这些数据可以被远程操作员使用来为载具100提供协助。
71.图3是例示计算设备300的简化框图，示出了可以被包括在被布置为根据本文的实施例操作的计算设备中的组件中的一些。计算设备300可以是客户端设备(例如，由用户(例如，远程操作员)主动操作的设备)、服务器设备(例如，向客户端设备提供计算服务的设备)或一些其他类型的计算平台。在一些实施例中，计算设备300可以被实现为计算机系统112，其可以位于载具100上并且执行与载具操作相关的处理操作。例如，计算设备300可以用于处理从传感器系统104接收的传感器数据。可替代地，计算设备300可远离载具100定位并经由安全无线通信进行通信。例如，计算设备300可以作为远程人类操作员可以用来与一个或多个载具通信的远程定位的设备来操作。
72.在图3所示的示例实施例中，计算设备300包括处理系统302、存储器304、输入/输出单元306和网络接口308，所有这些都可以通过系统总线310或类似的机制耦接。在一些实施例中，计算设备300可以包括其他组件和/或外围设备(例如，可拆卸存储、传感器等)。
73.处理系统302可以是任何类型的计算机处理元件(诸如中央处理单元(cpu)、协处
理器(例如数学、图形或加密协处理器)、数字信号处理器(dsp)、网络处理器、和/或执行处理器操作的集成电路或控制器的形式)中的一个或多个。在一些情况下，处理系统302可以是一个或多个单核处理器。在其他情况下，处理系统302可以是具有多个独立处理单元的一个或多个多核处理器。处理系统302还可以包括用于暂时存储正在执行的指令和相关数据的寄存器存储器，以及用于暂时存储最近使用的指令和数据的高速缓存存储器(cache memory)。
74.存储器304可以是任何形式的计算机可用存储器，包括但不限于随机存取存储器(ram)、只读存储器(rom)和非易失性存储器。这可以包括闪存、硬盘驱动器、固态驱动器、可重写光盘(cd)、可重写数字视频光盘(dvd)和/或带存储，仅举几例。
75.计算设备300可以包括固定存储器以及一个或多个可移动存储器单元，后者包括但不限于各种类型的安全数字(sd)卡。因此，存储器304可以代表主存储器单元以及长期存储两者。其他类型的存储器可以包括生物存储器。
76.存储器304可以存储程序指令和/或程序指令可以对其操作的数据。举例来说，存储器304可以将这些程序指令存储在非暂时性计算机可读介质上，使得处理系统302可执行这些指令以执行本说明书或附图中公开的方法、过程或操作中的任一个。
77.如图3所示，存储器304可以包括固件314a、内核314b和/或应用314c。固件314a可以是用于引导或以其他方式启动计算设备300中的一些或全部的程序代码。内核314b可以是操作系统，包括用于存储器管理、过程的调度和管理、输入/输出和通信的模块。内核314b还可以包括允许操作系统与计算设备300的硬件模块(例如，存储器单元、联网接口、端口和总线)通信的设备驱动器。应用314c可以是一个或多个用户空间软件程序，诸如web浏览器或电子邮件客户端，以及这些程序使用的任何软件库。在一些示例中，应用314c可以包括一个或多个神经网络应用和其他基于深度学习的应用。存储器304还可以存储由这些和其他程序和应用使用的数据。
78.输入/输出单元306可以促进用户和外围设备与计算设备300和/或其他计算系统的交互。输入/输出单元306可以包括一种或多种类型的输入设备，诸如键盘、鼠标、一个或多个触摸屏、传感器、生物特征传感器等。类似地，输入/输出单元306可以包括一种或多种类型的输出设备，诸如屏幕、监视器、打印机、扬声器和/或一个或多个发光二极管(led)。附加地或可替代地，例如，计算设备300可以使用通用串行总线(usb)或高清晰度多媒体接口(hdmi)端口接口与其他设备通信。在一些示例中，输入/输出单元306可以被配置为从其他设备接收数据。例如，输入/输出单元306可以从载具传感器接收传感器数据。
79.如图3所示，输入/输出单元306包括gui 312，其可被配置为向远程操作员或另一用户提供信息。gui 312可以是可显示的一个或多个显示界面，或用于传达信息和接收输入的另一种类型的机制。在一些示例中，gui 312的表示可以取决于载具情形而不同。例如，计算设备300可以提供特定格式的gui 312，诸如具有供远程操作员从其选择的单个可选择选项的格式。
80.网络接口308可以采用一个或多个有线接口的形式，诸如以太网(例如，快速以太网、千兆以太网等)。网络接口308还可以支持通过一种或多种非以太网介质(诸如同轴电缆或电力线)或通过广域介质(诸如同步光网络(sonet)或数字用户线(dsl)技术)的通信。网络接口308可以另外采用一个或多个无线接口的形式，诸如ieee 802.11(wifi)、
全球定位系统(gps)或广域无线接口。然而，可以在网络接口308上使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外，网络接口308可以包括多个物理接口。例如，计算设备300的一些实施例可以包括以太网、和wifi接口。在一些实施例中，网络接口308可以使计算设备300能够与一个或多个载具连接以允许在本文中呈现的远程协助技术。
81.在一些实施例中，可以部署(deploy)计算设备300的一个或多个实例以支持集群架构。这些计算设备的确切物理位置、连接性和配置对于客户端设备可能是未知的和/或不重要的。因此，计算设备可被称为“基于云的”设备，其可容置在各种远程数据中心位置处。此外，计算设备300可以使得能够进行在本文中描述的实施例的执行，包括传感器数据的有效分配和处理。
82.图4是根据一个或多个示例实施例的用于计算设备和载具之间的无线通信的系统。系统400可以使载具(例如，载具402)能够从使用远离载具定位的计算设备(例如，远程计算设备404)的人类操作员获得远程协助。特别地，系统400被示出为具有经由网络408无线通信的载具402、远程计算设备404和服务器406。系统400可以包括其他实施例中未示出的其他组件，诸如防火墙和多个网络等。
83.载具402可以在位置之间运送乘客或对象，并且可以采用以上讨论的任何一种或多种载具的形式，包括客运载具、货运载具、农用和制造载具以及两用载具。当以自主模式(或半自主模式)操作时，载具402可以导航以在期望目的地之间接载和放下乘客(或货物)。在一些实施例中，载具402可以作为载具队伍的一部分操作，诸如在共乘(ride-share)载具队伍内操作。
84.远程计算设备404可以代表与使得能够提供远程协助技术相关的任何类型的设备，包括但不限于本文中描述的那些。在示例内，远程计算设备404可以代表被配置为(i)接收与载具402相关的信息，(ii)提供人类操作员可以通过其依次感知信息并输入与该信息相关的响应的接口(例如，gui、物理输入接口)以及(iii)向载具402或其他设备(例如，在服务器406处的存储)发送响应的任何类型的设备。照此，远程计算设备404可以采用各种形式，诸如工作站、台式计算机、膝上型计算机、平板电脑、移动电话(例如，智能电话)、可穿戴设备(例如，耳机)和/或服务器。在一些示例中，远程计算设备404可以包括在网络配置中一起操作的多个计算设备。在进一步的实施例中，远程计算设备404可以类似于载具模拟中心，其中远程操作员被定位为模拟中心的驱动者(drive)。此外，远程计算设备404可以作为可以模拟载具402的视角(perspective)的可头戴式设备操作。
85.在示例内，远程计算设备404相对于载具402的定位可以变化。例如，远程计算设备404可以具有距载具402远程的定位，诸如在物理建筑物内操作。在另一个示例中，远程计算设备404可以与载具402物理地分离，但是在载具402内部操作以使得载具402的乘客能够充当人类操作员。例如，远程计算设备404可以是可由载具402的乘客操作的触摸屏设备。本文中描述的由远程计算设备404执行的操作可以附加地或可替代地由载具402(即，由载具100的任何(一个或多个)系统或(一个或多个)子系统)执行。换言之，载具402可以被配置为提供载具的驾驶员或乘客可以与之交互的远程协助机制。
86.本文描述的操作可以由经由网络408通信的任何组件来执行。例如，远程计算设备
404可以基于载具402提供的不同级别的信息来确定供人类操作员查看的远程协助选项。在一些实施例中，载具402可以确定用于远程计算设备404显示以供远程操作员查看的潜在导航选项。潜在选项可以包括用于由远程计算设备404和/或使用远程计算设备404的远程操作员查看的路线、载具运动和其他导航参数。
87.在其他实施例中，远程计算设备404可以分析来自载具402的传感器数据或其他信息以确定用于远程操作员查看的情形和潜在选项。例如，远程计算设备404可以使用来自载具402和/或其他外部源(例如，服务器406)的信息来确定路线和/或用于载具402执行的操作。在一些实施例中，远程计算设备404可以生成gui以显示一个或多个可选择的选项以供远程操作员查看。
88.服务器406可以被配置为经由网络408与远程计算设备404和载具402(或者可能直接与远程计算设备404和/或载具402)无线通信。照此，服务器406可以代表被配置为接收、存储、确定和/或发送与载具402及其远程协助相关的信息的任何计算设备。照此，服务器406可以被配置为执行在本文中描述为由远程计算系统404和/或载具402执行的任何(一个或多个)操作或这样的(一个或多个)操作的部分。与远程协助相关的无线通信的一些实现方式可以利用服务器406，而其他实现方式则可以不使用。
89.网络408代表可以使得能够进行计算设备(诸如载具402、远程计算设备404和服务器406)之间的无线通信的基础设施。例如，网络408可以对应于无线通信网络，诸如互联网或蜂窝无线通信网络。上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。
90.在一些示例中，远程计算系统(例如，远程计算设备404或服务器406)可以以两种模式之一操作。这些模式中的第一模式本质上可以充当用于(载具和/或远程计算系统的)人类操作员为载具提供远程协助支持的手段。远程计算系统可以使人类操作员能够近乎实时地或以比实时低频率地提供这种支持。
91.这两种模式中的第二模式至少可以充当用于使人类操作员保持警觉的手段。人类操作员可以是载具的乘客或驾驶员，或者可以是远离载具定位但负责向载具(也可能向其他载具)提供远程协助的第三方。不管人类操作员是谁，都期望使人类操作员保持警觉，以便人类操作员能够以最小的延迟提供最佳远程协助。
92.例如，可能存在如下场景：载具在一定时间量(例如，一小时)内可能没有请求远程协助，并且因此负责向载具提供远程协助的人类操作员在该时间量内可能没有采取任何远程协助动作，该时间量可能足够长，以至于人类操作员可能会变得疲劳或以其他方式较期望更低的专注。在这些和其他类型的可能场景中，可能期望在此时间期间经由远程计算系统用警觉性数据周期性地提示人类操作员，以使他们保持警觉。警觉性数据可以采用各种形式，诸如具有已确认或未确认对象识别的存档图像、音频或视频，还包括关于已确认或未确认对象识别的生成的自然语言问题。
93.远程协助任务还可以包括人类操作员提供指令以控制载具的操作(例如，指令载具行进到与识别的乘客相关联的特定目的地)。在某些场景中，载具本身可以基于与对象的识别相关的人类操作员的反馈来控制其自己的操作。例如，在接收到载具的占用满足期望的占用的确认时，载具控制系统可以使载具将乘客安全地运送到请求的目的地。在一些示例中，远程操作员可以使载具能够暂时执行载具通常可能不被允许执行的一个或多个操作以解决情形。例如，远程计算设备404可以被用于使载具402能够倒车、以减小的缓冲区导
航、或在通常禁止的区域中行进(例如，越过隔离带或使用私人车道)。
94.在一些实施例中，对载具的远程协助可以源自远程操作员的网络。例如，载具可以提交在网络入口点接收到的对协助的请求。入口点可以将请求与可以提供协助的远程操作员连接。可以基于与远程操作员相关联的凭证来选择远程操作员，凭证指示她或他能够处理所请求的类型的协助和/或操作员的可用性，以及其他潜在参数。入口点可以分析请求内的信息以相应地路由对协助的请求。例如，远程操作员的网络可用于向整个队伍的自主载具提供协助。
95.图5示出了根据一个或多个示例实施例的显示用于启用向载具递送远程协助的gui的计算设备。在示例实施例中，计算设备500正在显示gui 502，其包括环境的表示504、导航选项506a、导航选项506b和情境性信息508。在其他实施例中，gui 502可以以其他潜在布置包括更多或更少的元素。
96.gui 502代表计算机软件的交互式视觉组件的系统。照此，gui 502可以用于显示向远程操作员传达信息的对象并且还表示远程操作员可以采取的动作。计算设备500可以基于模板生成gui 502，该模板使可用的远程操作员能够快速查看并向载具提供协助。此外，计算设备500可以在诸如触摸屏或外部监视器的显示界面上显示gui 502。在其他示例中，计算设备可以经由与头戴式可穿戴计算设备(例如，增强现实)相关联的显示界面来显示gui 502或来自gui 502的元素。
97.计算设备500可以使用gui 502来使得能够进行人类操作员和请求协助的载具之间的交互。人类操作员可以经由触摸输入、按钮或硬件输入、运动和声音输入向计算设备500提供输入。例如，计算设备500可以包括麦克风以接收声音输入并使用语音识别软件以基于来自操作员的声音输入导出操作。在一些示例中，计算设备500可以类似于载具模拟器，其使人类操作员能够体验模仿载具的视角的模拟。
98.环境的表示504是经由gui 502可显示的对象，其可以代表从载具的视角的当前环境(或最近环境)。通过显示环境的表示504，远程操作员可以查看如由载具传感器捕捉的环境的传感器视角。例如，环境的表示504可以显示如由载具相机捕捉的环境的图像和/或视频。在其他情况下，来自不同类型的传感器的传感器数据可用于生成环境的表示504并经由gui 502提供环境的表示504。例如，环境的表示504可以包括使用雷达和/或lidar开发的点云。照此，环境的表示504可以示出可能已经中断正在请求协助的载具的行进路径的障碍物或其他环境元素的定位。例如，环境的表示504可以描绘载具的环境内的道路、其他载具、行人、自行车、交通信号和标志、道路元素以及其他特征。
99.在一些示例中，环境的表示504可以实时地描绘载具的环境。例如，载具传感器(例如，相机)可以近乎实时地捕捉环境的传感器数据(例如，图像)并将其提供给计算设备500，使人类操作员能够观察载具的环境的当前状态。
100.计算设备500可以使用视觉指示符，诸如箭头、框或组合来突出环境的各方面，诸如阻挡载具的行进路径的障碍物。例如，计算设备500可以使用计算机视觉来检测图像内的元素并使用不同颜色来标识元素，诸如使用红色框来标识行人、蓝色框用于其他载具以及绿色框用于静止对象。
101.计算设备500还可基于载具的位置获得地图数据。例如，载具可以在对协助的请求内或在载具与计算设备500之间的随后通信期间提供载具的位置的gps测量或另一指示。通
过使用载具的位置，计算设备500可以获取地图数据并进一步增强包括在经由gui 502显示的环境的表示504和/或其他对象内的信息。例如，计算设备500可以确定环境的表示504并将其显示为基于地图数据和来自载具的传感器数据估计的载具和附近周围环境的高架视图(elevated view)。在一些示例中，gui 502可以包括载具的环境的传感器视角和基于传感器数据和地图数据中的一个或两个估计的高架视图两者。
102.导航选项506a、506b代表可以由gui 502显示的不同策略。人类操作员可以查看并选择导航选项506a或导航选项506b以使计算设备500向载具中继指令以执行。特别地，载具可以从计算设备500接收指令并在监视可能需要修改或停止选择的导航选项的执行的环境的改变的同时执行选择的导航选项。例如，在执行选择的远程协助策略(例如，导航选项506a)时，载具可以检测可能变更远程协助策略的执行的另一载具或行人的存在。
103.在图5所示的实施例中，gui 502示出了两个导航选项(即，导航选项506a、506b)。在一些情况下，gui 502可以仅示出一个导航选项或多于两个导航选项。导航选项的数量可以取决于请求协助时载具所涉及的情形。在一些示例中，导航选项的数量还可以被限制以潜在地减少人类操作员用于提供选项的时间量。例如，大量导航选项(例如，4个或更多)可能需要太多时间来查看。此外，建议的导航选项的质量可能会随着数量的增加而降低。在一些示例中，自主载具可以被配置为仅发送基于测量环境的传感器数据的最佳导航选项。
104.在一些示例中，计算设备500可以接收不包括任何建议的导航选项的对协助的请求。计算设备500可以显示具有载具系统正在请求人类操作员开发并向载具提供导航策略以执行的指示的gui 502。导航策略可以指定在载具的当前位置处开始并涉及从其继续导航的目标目的地或目标路径的路线。gui 502可以使人类操作员能够调整现有导航选项或提供由人类操作员开发的定制导航策略。
105.在一些示例中，导航选项506a、506b可以以使人类操作员能够快速查看的视觉表示来显示。例如，导航选项506a、506b可被描绘为环境的表示504上的虚拟路径。将导航选项506a、506b显示为环境的表示504上的虚拟路径对于当载具试图很快绕过或离开一情形时可能是有益的。例如，当载具试图在建筑或事故周围或停车场导航时，gui 502可以在代表载具周围区域的图像、视频或其他传感器数据上，将一个或多个导航选项示出为虚拟路径或使用其他符号来示出一个或多个导航选项。该技术可以使人类操作员能够仔细查看载具的环境，并基于对环境的清晰理解提供有用的远程协助。
106.在一些示例中，gui 502可以一起显示多个导航选项(例如，导航选项506a和导航选项506b两者)以使人类操作员能够查看和比较。例如，gui 502可以在环境的表示504上将导航选项506a的路线显示为蓝色虚拟路径并且将导航选项506b的路线显示为红色虚拟路径。在一些实例中，gui 502可以被配置为一次只显示单个导航选项以避免混淆。此外，计算设备500可以获得载具的当前位置的地图数据并使用地图数据显示每个导航选项506a、506b的路线。例如，地图数据可用于显示可能涉及大量绕行或总体上相当长的行进距离(例如，多于半英里或另一阈值距离)的导航策略。
107.在一些示例中，虚拟路径可以经由由计算设备500近乎实时地从载具接收的图像和/或视频数据以增强现实显示。特别地，当载具等待和接收远程协助时，人类操作员可以使用来自载具的视频、图像或其他传感器数据来观察和监视载具的环境。例如，gui 502可以近乎实时地显示从载具接收的图像或视频，以使人类操作员能够向载具提供持续的协
助。人类操作员可以在载具导航时调整载具的路线或操纵。
108.在一些示例中，导航选项506a、506b的虚拟路径可以被进一步划分并显示为具有连续段之间的检查点的段。载具可以被配置为在每个检查点向计算设备500提供更新。在一些实例中，载具可以被配置为在每个检查点(或检查点的子集)暂时停止。计算设备500可以被配置为在每个检查点向人类操作员提供状态更新或其他信息。此外，人类操作员可以在检查点提供对导航路径的更新。
109.gui 502还可以使远程操作员能够提供定制导航选项(例如，在地图数据或环境的表示504上绘制期望的路径)。gui 502还可以显示修改每个导航选项506a、506b的一个或多个参数的选项。
110.在图5所示的实施例中，每个导航选项506a、506b可以分别带有被开发以协助人类操作员查看的附加信息(诸如分数512和分数516)地被显示。分数512、516可由载具基于与执行每个导航选项506a、506b相关联的参数来确定。例如，当导航选项需要执行一个或多个复杂操纵(例如，倒车、u形掉头)、不受欢迎的操纵和/或减小载具周围保持的载具的安全缓冲区时，对应分数可以相对于不包括复杂操纵的导航选项更低。分数512、516还可以分别取决于完成每个导航选项506a、506b的时间。
111.如图5所示，每个导航选项506a、506b还可以分别指示操纵技术514、518。操纵技术514、518可以传达如果选择了特定导航选项，则载具将执行的一种或多种操纵。例如，导航选项506a可以包括u形掉头，其由操纵技术514表示为描述(例如“此处u形掉头”)或视觉表示。在一些示例中，只有在执行之前需要人类操作员批准的操纵技术可以经由操纵技术514、518表示。
112.gui 502还包括情境性信息508，其可以传达用于补充远程操作员对载具的情形的理解的附加信息。如图5所示，情境性信息508包括载具信息520和位置信息522。载具信息520可以指示关于载具的各种信息，诸如载具的类型、载具上的载具传感器、乘客的数量以及目标目的地等。位置信息522可以代表基于载具的当前位置的信息，诸如描绘环境的地图数据。情境性信息508还可指定与情形相关的信息，诸如载具已受困了多长时间以及载具提出的受困原因。
113.图6a、6b、6c示出了根据一个或多个示例实施例的涉及载具使用远程协助来操纵到位置的场景。在图6a中，场景600以从载具602后方的视点的环境视角被示出。如场景600中所示，基于检测到停止标志604，载具602被示为停在四路交叉口处。由于存在阻挡导航路径608的障碍物606，载具602可以请求远程协助。特别地，障碍物606被示为交叉口中的交通锥和敞开的检修孔，其阻止载具602直接导航通过交叉口以沿着导航路径608继续。其他示例场景可以涉及载具602在各种环境中的导航期间可能遇到的其他类型的障碍物。
114.在图6a所示的实施例中，障碍物606的存在干扰了载具602的导航路径608。换言之，因为障碍物606挡道，载具602不能在不偏离常规导航规则的情况下根据导航路径608继续导航通过交叉口。例如，载具602可以在道路的相对侧导航(不受欢迎的操纵)以绕过障碍物606。结果，因为后续导航可能涉及载具602以偏离导航路径608来避开障碍物606的方式导航，所以载具602可以被配置为请求远程协助。
115.如图所示，为了绕过障碍物606，载具602可能需要执行不包括在导航期间由载具602通常执行的操纵技术内的一种或多种操纵技术。在一些实施例中，未经来自远程操作员
的事先批准，载具602可能无法执行避开障碍物606所需的一种或多种操纵技术。照此，来自载具602的载具系统(例如，导航系统)可以向远程协助网络发送请求，该远程协助网络随后可以将载具系统与能够迅速提供协助的远程操作员的计算设备连接以帮助载具系统克服问题。
116.在一些实施例中，载具系统可以被配置为在被困在相同位置达阈值持续时间(例如，60秒)之后请求远程协助。在示例内，阈值持续时间可以变化并且可以取决于外部因素，诸如在载具602后面(或附近)存在载具。例如，当在载具602后面检测到载具时，用于请求远程协助的阈值持续时间可以更短以避免延迟等待载具602移动的一个或多个载具。
117.该请求可以包括描绘载具602遇到的情形的信息。例如，该请求可以包括载具602停在特定位置的指示和如从载具602的当前位置测量的环境的传感器视角。传感器视角可以包括来自一种或多种类型的传感器的不同量的信息和测量。在一些示例中，传感器视角可以作为由载具的传感器处理系统使用一种或多种类型的传感器生成的环境的3d地图来传达。传感器视角可以包括来自相机的图像或视频、lidar测量、雷达测量、gps测量和来自惯性测量单元(imu)的运动测量，以及其他选项。照此，接收到对协助的请求的计算设备可以响应地生成可以允许远程操作员查看情形并提供协助的gui。例如，计算设备可以生成类似于图5中所示的gui 502的gui。gui可以以不同的布置传达传感器数据和与情形相关的其他信息(例如，地图数据)。
118.图6b进一步示出了根据一个或多个示例实施例的载具602响应于遇到如图6a中所示的场景600中所描绘的障碍物606而确定一组导航选项。载具602可以响应于检测到部分阻挡导航路径608的障碍物606的存在而确定导航选项610、导航选项612和导航选项614。照此，载具602的一个或多个系统可以向一个或多个计算设备传送(communicate)对远程协助的请求和导航选项610-614，以便从远程操作员获得远程协助。例如，载具602可以向网络发送对协助的请求，该网络被配置为接收并随后将载具602连接到可用于提供远程协助的远程操作员的计算设备。载具602可以在对协助的初始请求中包括导航选项610-614，或者可以在与远程操作员使用的计算设备建立安全无线连接之后随后传送导航选项610-614。
119.载具602可以利用来自一种或多种类型的载具传感器的传感器数据来确定每个导航选项610-614。在实施例内，导航选项610-614的数量可以变化并且可以取决于特定场景的方面。特别地，图6a和6b中所示的场景600涉及可以提供替代路线的交叉口，载具602可以使用该替代路线来确定如图所示的导航选项610-614。在其他场景中，载具602能够取决于环境确定更多或更少的导航选项。例如，如果存在停在停车场的、限制了可用的导航路线的许多载具，则涉及在停车场内导航的载具的场景可能具有有限的导航选项。
120.在一些实施例中，载具602可以估计分数并将其与每个导航选项610-614相关联，其随后可以由提供远程协助的远程操作员使用。每个分数可以取决于每个导航选项610-614的各种参数，并且可以用于向远程操作员提供用于比较导航选项610-614的参考系统。在某些情况下，给定导航选项的分数取决于用于完成导航选项的操纵技术。例如，导航选项614可以具有比导航选项610、612更低的分数，因为导航选项614需要载具602执行u形掉头。u形掉头可以被认为是在执行之前需要远程批准的困难的操纵技术。
121.此外，分数还可以取决于导航选项偏离载具602的原始路径(即，导航路径608)的量。例如，导航选项610可以具有比导航选项612、614更高的分数，因为导航选项610帮助载
具602快速恢复导航路径608，而其他导航选项612、614可能导致载具602绕道更远以到达期望的目的地。因此，在一些示例中，地图数据可以用于确定每个导航选项610-614的分数。地图数据可用于确定路线时间和在确定每个导航选项的分数时加权的其他潜在因素。
122.分数还可以取决于其他因素。例如，每个分数可以取决于载具602在导航以完成特定导航选项时是否需要暂时减小在载具602周围维持的安全缓冲区。载具602可能需要减小其安全缓冲区以执行导航选项的较长持续时间(即，时间段)可能会降低该选项的分数。此外，当导航选项的执行需要载具602暂时违反一个或多个道路规则时，相对于不需要违反任何道路规则的其他导航选项，与该选项相关联的分数可能会降低。在一些实施例中，可以基于多个因素的加权分析来确定每个导航选项的分数，该因素诸如为用于每个导航选项的操纵技术。例如，载具602可以对各种参数纳入因素和加权，以得出每个导航选项的分数。
123.当向计算设备发送选项以用于远程协助时，载具602可以各种格式提供导航选项610-614。在一些示例中，载具602可以以视觉格式提供导航选项610-614，诸如在传感器数据上分层的虚拟表示，如图6c中进一步所示。
124.在一些实施例中，载具602可以仅将顶部导航选项(例如，导航选项610)传达给人类操作员以在继续之前接收确认。限制选项可以加速整个远程协助过程，因为人类操作员有更少要查看的内容并且可以批准或修改建议的选项(例如，导航选项610)。在一些情况下，载具602可以仅传送包括障碍物606的环境的传感器信息(例如，图像或视频)以及对开发策略或识别障碍物606的协助的请求。在示例内，其他变化是可能的。
125.图6c描绘了用于启用对图6a和图6b中所示场景600的远程协助的gui。特别地，计算设备可以使gui 620显示在显示界面(诸如触摸屏或类似于图5中所示的显示gui 502的计算设备500的高清晰度(hd)显示器)上。如图所示，gui 620包括环境表示621、情境性信息630、地图数据632和定制路线634。在进一步的示例中，gui 620还可以包括其他选项。例如，gui 620可以包括请求更多信息选项，远程操作员可以使用该选项来获得附加传感器数据或与乘客通信。
126.环境表示621可以基于从载具传感器(诸如，相机)获得的传感器数据传达环境的视角。在其他实施例中，环境表示621可以显示载具602环境的较大部分，以提供附加信息供人类操作员用来做出决定。例如，环境表示621可以利用来自载具周围的区域的传感器测量的组合来描绘环境内的载具602以供人类操作员在提供远程协助时使用。
127.在图6c所示的实施例中，gui 620将导航选项的虚拟表示示出为选项a 622、选项b 624和选项c 626。特别地，选项a 622是由载具602确定的导航选项610的虚拟表示，选项b 624是由载具602确定的导航选项612的虚拟表示，并且选项c 626是由载具602确定的导航选项614的虚拟表示。每个选项622-626被示出为环境表示621上的覆盖(overlay)，以示出载具602如何能够导航和避开代表如图6a和图6b所示的由载具传感器检测到的障碍物606的虚拟障碍物628。在一些示例中，选项可以以不同的颜色示出并进一步分段以包括能够进行更容易监视和修改的检查点。
128.在一些示例中，在给定时间，gui 620可以仅示出一个选项。可替代地，人类操作员可以定制示出哪些选项。此外，gui 620可以使操作员能够调整选项的一个或多个方面以及为载具602提供定制路线634以执行。定制路线634可以代表由负责提供远程协助的人类操作员提供的导航策略。例如，人类操作员可以在环境表示621或地图数据632上绘制定制路
线634以定制由载具602利用的路线。照此，gui 620还可以包括地图数据632，其可以对应于代表载具602的当前位置的一个或多个地图。人类操作员可以使用地图数据632来帮助对请求远程协助的载具的路线规划。
129.此外，gui 620还可以包括情境性信息630，其可以包括可以帮助人类操作员(或计算设备)向载具602提供远程协助的附加信息或数据。在图6c所示的实施例中，情境性信息630分别包括每个选项(即，选项a 622、选项b 624和选项c 626)的分数和参数。如上所讨论的，与选项的执行相关联的参数可以影响选项的分数。特别地，从期望路径(例如，图6a中所示的导航路径608)的偏离、与给定选项相关联的操纵的难度、完成选项所需的时间、不受欢迎的操纵的数量和复杂性，以及其他因素(例如，载具可能需要减小在载具周围保持的安全缓冲区多长时间和程度)可能影响选项的分数。情境性信息630还包括载具信息和路线信息。路线信息可以指示载具602的当前位置和目标目的地(例如，载具602放下乘客或对象的位置)。
130.图7是根据示例实现方式的用于使用远程协助将自主载具操纵到位置的方法的流程图。方法700代表示例方法，其可以包括一个或多个操作、功能或动作，如由框702、704和706中的一个或多个所描绘的，其中的每一个可以由图1-图6c中所示的系统、设备和/或载具中的任何一个以及其他可能的系统执行。例如，图4中描绘的系统400可以启用方法700的执行。
131.本领域技术人员将理解，本文中描述的流程图示出了本公开的某些实现方式的功能和操作。就这一点而言，流程图的每一个框可以代表包括可由一个或多个处理器执行以用于实现过程中的特定逻辑功能或步骤的一个或多个指令的模块、段或程序代码的一部分。程序代码可以存储在任何类型的计算机可读介质上，例如，诸如包括磁盘或硬盘驱动器的存储设备。
132.此外，每一个框可以代表被布线以执行过程中的特定逻辑功能的电路。替代实现方式包括在本技术的示例实现方式的范围内，在替代实现方式中功能可以按照与所示出或讨论的顺序不同的顺序执行，包括基本上并发或以相反的顺序执行，这取决于所涉及的功能，如本领域技术人员将理解的。
133.在框702处，方法700涉及从在环境中操作的载具接收对协助的请求。该请求可以指示载具停在第一位置处并指定使载具能够从第一位置导航到第二位置的一个或多个导航选项。在一些情况下，至少一个导航选项包括在执行之前需要操作员批准的一种或多种操纵技术。
134.在一些示例中，载具可以在自载具最初变得受困以来已经经过阈值持续时间之后发送请求。例如，载具可以在已经经过60秒后请求协助，因为环境可能在该60秒期间改变，从而使载具能够在没有远程协助的情况下安全地继续进行导航。
135.在框704处，方法700涉及显示传达一个或多个导航选项的图形用户界面(gui)。计算设备可以响应于接收到对协助的请求而显示导航选项。
136.在一些实施例中，计算设备还可以接收第一位置和第二位置的指示并且随后获得代表第一位置和第二位置的地图数据。这样，计算设备可以使用地图数据显示使载具能够在第一位置和第二位置之间导航的每个导航选项的虚拟路径。计算设备还可以使用从载具获得的传感器数据(例如，图像)来显示虚拟路径。显示每个导航选项的虚拟路径可以进一
步涉及将每个虚拟路径划分为一组段。每对连续段可以经由检查点分离。当载具在执行给定导航选项的同时从第一位置导航到第二位置时，计算设备可以在每个检查点接收进度更新。
137.计算设备还可以与用于修改导航选项的一个或多个参数的选项一起显示每个导航选项。用于修改的选项可以使人类操作员能够调整要行进的路径、载具将执行的操纵、在导航选项的执行期间载具将以其行进的速度或其他参数。
138.此外，计算设备还可以显示具有对应分数的每个导航选项，该分数代表与载具执行一个或多个操纵以完成导航选项相关联的难度。计算设备还可以与代表在执行之前需要操作员批准的一种或多种操纵技术中的每种操纵技术的指示一起显示具有在执行之前需要操作员批准的一种或多种操纵技术的每个导航选项。计算设备还可以确定涉及在执行期间暂时减小载具周围的缓冲区的一个或多个导航选项，并且对于确定的一个或多个导航选项显示在执行期间暂时减小载具周围的缓冲区的指示。
139.在框706处，方法700涉及基于检测到对一个或多个导航选项中的特定导航选项的选择，向载具发送指令以执行特定导航选项。
140.在接收到指令之后，载具可以被配置为通过在监视环境中的一个或多个改变的同时执行特定导航选项而从第一位置导航到第二位置。特别地，使用一个或多个载具传感器监视环境可以使载具系统能够在需要保持安全时停止向前(或在另一方向上)移动。
141.在一些实施例中，计算设备可以接收使载具能够从第一位置导航到第二位置的新导航选项。例如，计算设备可以与在第一位置和第二位置之间绘制一个或多个附加导航选项的选项一起显示代表第一位置和第二位置的地图数据。响应于接收到新导航选项，计算设备可以向载具发送指令以执行新导航选项。载具可以被配置为通过在监视环境中的一个或多个改变的同时执行新导航选项而从第一位置导航到第二位置。
142.图8是根据示例实现方式的计算机程序的示意图。在一些实现方式中，所公开的方法可以被实现为以机器可读格式编码在非暂时性计算机可读存储介质上或在其他非暂时性介质或制品上的计算机程序指令。
143.在图8所示的实施例中，使用信号承载介质802提供计算机程序产品800，该信号承载介质802可以包括一个或多个编程指令804，当由一个或多个处理器执行时，该指令可以提供上面关于图1-图7所描述的功能或功能的部分。
144.信号承载介质802可以包含非暂时性计算机可读介质806，诸如但不限于硬盘驱动器、压缩盘(cd)、数字视频盘(dvd)、数字磁带、存储器、用于远程(例如，在云上)存储的组件等。在一些实现方式中，信号承载介质802可以包含计算机可记录介质808，诸如但不限于存储器、读/写(r/w)cd、r/w dvd等。
145.在一些实现方式中，信号承载介质802可以包含通信介质810，诸如但不限于数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路等)。类似地，信号承载介质802可以对应于远程存储(例如，云)。计算系统可以与云共享信息，包括发送或接收信息。例如，计算系统可以从云接收附加信息以增强从传感器或另一实体获得的信息。因此，例如，信号承载介质802可以由无线形式的通信介质810传达。
146.一个或多个编程指令804可以是例如计算机可执行和/或逻辑实现的指令。在一些示例中，诸如图1中所示的计算机系统112或图3中所示的计算设备300的计算设备可以被配
置为响应于由计算机可读介质806、计算机可记录介质808和/或通信介质810中的一个或多个传达到计算机系统的编程指令804来提供各种操作、功能或动作。非暂时性计算机可读介质还可以分布在多个数据存储元件和/或云当中(例如，远程地)，这些可以远离彼此定位。执行一些或全部存储的指令的计算设备可以是载具。可替代地，执行一些或全部存储的指令的计算设备可以是另一计算设备，诸如服务器。
147.以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。虽然本文中已经公开了各种方面和实施例，但其他方面和实施例将是显而易见的。本文中公开的各个方面和实施例是为了说明的目的而不旨在进行限制，真实范围由所附权利要求指示。

技术特征：
1.一种方法，包括：在计算设备处从在环境中操作的载具接收对协助的请求，其中，所述请求指示载具停在第一位置处并指定用于使载具能够从第一位置导航到第二位置的一个或多个导航选项，其中，至少一个导航选项包括在执行之前需要操作员批准的一种或多种操纵技术；响应于接收到对协助的请求，由计算设备显示传达所述一个或多个导航选项的图形用户界面(gui)；以及基于检测到对所述一个或多个导航选项中的特定导航选项的选择，由计算设备向载具发送指令以执行所述特定导航选项，其中，所述载具被配置为通过在监视环境中的一个或多个改变的同时执行特定导航选项而从第一位置导航到第二位置。2.如权利要求1所述的方法，其中，从在环境中操作的载具接收对协助的请求包括：从载具接收第一位置和第二位置的指示；获得代表第一位置和第二位置的地图数据；以及其中，显示传达一个或多个导航选项的gui包括：使用地图数据显示使载具能够在第一位置和第二位置之间导航的每个导航选项的虚拟路径。3.如权利要求2所述的方法，其中，显示使载具能够在第一位置和第二位置之间导航的每个导航选项的虚拟路径包括：将每个导航选项的虚拟路径划分为一组段，其中，每对连续段经由检查点分离。4.如权利要求3所述的方法，还包括：当载具在执行特定导航选项的同时从第一位置导航到第二位置时，在每个检查点在计算设备处从载具接收进度更新。5.如权利要求1所述的方法，其中，显示传达一个或多个导航选项的gui进一步包括：与用于修改导航选项的一个或多个参数的选项一起显示每个导航选项。6.如权利要求1所述的方法，其中，从在环境中操作的载具接收对协助的请求包括：接收第一位置和第二位置的指示；获得代表第一位置和第二位置的地图数据；以及其中，显示传达所述一个或多个导航选项的gui进一步包括：与用于在第一位置和第二位置之间绘制一个或多个附加导航选项的选项一起显示代表第一位置和第二位置的地图数据。7.如权利要求1所述的方法，其中，显示传达一个或多个导航选项的gui包括：显示具有对应分数的每个导航选项，其中，导航选项的对应分数代表与载具执行一个或多个操纵以完成导航选项相关联的难度。8.如权利要求1所述的方法，其中，显示传达一个或多个导航选项的gui包括：与代表在执行之前需要操作员批准的一种或多种操纵技术中的每种操纵技术的指示一起显示具有在执行之前需要操作员批准的一种或多种操纵技术的每个导航选项。9.如权利要求1所述的方法，其中，显示传达所述一个或多个导航选项的gui包括：确定涉及在执行期间暂时减小载具周围的缓冲区的一个或多个导航选项；以及对于确定的一个或多个导航选项，显示在执行期间暂时减小载具周围的缓冲区的指示。
10.如权利要求1所述的方法，还包括：接收使载具能够从第一位置导航到第二位置的新导航选项；以及响应于接收到新导航选项，向载具发送指令以执行新导航选项，其中，所述载具被配置为通过在监视环境中的一个或多个改变的同时执行新导航选项而从第一位置导航到第二位置。11.一种系统，包括：计算设备，被配置为：从在环境中操作的载具接收对协助的请求，其中，所述请求指示载具停在第一位置处并指定用于使载具能够从第一位置导航到第二位置的一个或多个导航选项，其中，至少一个导航选项包括在执行之前需要操作员批准的一种或多种操纵技术；响应于接收到对协助的请求，显示传达所述一个或多个导航选项的图形用户界面(gui)；以及基于检测到对所述一个或多个导航选项中的特定导航选项的选择，向载具发送指令以执行所述特定导航选项，其中，所述载具被配置为通过在监视环境中的一个或多个改变的同时执行特定导航选项而从第一位置导航到第二位置。12.如权利要求11所述的系统，其中，所述计算设备远离载具定位，以及其中，所述计算设备和所述载具经由安全无线通信进行通信。13.如权利要求11所述的系统，其中，在执行之前需要操作员批准的所述一种或多种操纵技术包括u形掉头和倒车技术中的一种或两种。14.如权利要求11所述的系统，其中，所述计算设备被配置为：在显示传达所述一个或多个导航选项的gui时，与对应的导航选项一起显示需要操作员批准的相应操纵技术。15.如权利要求11所述的系统，其中，所述计算设备还被配置为：接收第一位置和第二位置的指示；获得代表第一位置和第二位置的地图数据；以及使用地图数据显示使载具能够在第一位置和第二位置之间导航的每个导航选项的虚拟路径。16.如权利要求15所述的系统，其中，所述计算设备还被配置为：将每个导航选项的虚拟路径划分为一组段，其中，每对连续段经由检查点分离；以及当载具在执行特定导航选项的同时从第一位置导航到第二位置时，在每个检查点从载具接收进度更新。17.如权利要求11所述的系统，其中，所述计算设备还被配置为：经由gui将每个导航选项显示为具有不同颜色的虚拟路径。18.如权利要求11所述的系统，其中，所述计算设备还被配置为：与代表在执行之前需要操作员批准的一种或多种操纵技术中的每种操纵技术的指示一起显示具有在执行之前需要操作员批准的一种或多种操纵技术的每个导航选项。19.如权利要求11所述的系统，其中，所述计算设备还被配置为：接收使载具能够从第一位置导航到第二位置的新导航选项；以及响应于接收到新导航选项，向载具发送指令以执行新导航选项，其中，所述载具被配置为通过在监视环境中的一个或多个改变的同时执行新导航选项而从第一位置导航到第二
位置。20.一种非暂时性计算机可读介质，被配置为存储指令，当被计算设备执行时，所述指令使计算设备执行操作，所述操作包括：从在环境中操作的载具接收对协助的请求，其中，所述请求指示载具停在第一位置处并指定用于使载具能够从第一位置导航到第二位置的一个或多个导航选项，其中，至少一个导航选项包括在执行之前需要操作员批准的一种或多种操纵技术；响应于接收到对协助的请求，显示传达所述一个或多个导航选项的图形用户界面(gui)；以及基于检测到对所述一个或多个导航选项中的特定导航选项的选择，向载具发送指令以执行所述特定导航选项，其中，所述载具被配置为通过在监视环境中的一个或多个改变的同时执行特定导航选项而从第一位置导航到第二位置。

技术总结
示例实施例涉及使用远程协助将自主载具操纵到位置。远程操作员使用的计算设备可以接收来自载具的对协助的请求，该请求指示载具停在第一位置处，该请求具有用于使载具能够从第一位置导航到第二位置的一个或多个导航选项。至少一个导航选项包括在执行之前需要操作员批准的操纵技术。计算设备然后可以显示传达一个或多个导航选项的图形用户界面(GUI)。基于检测到对特定导航选项的选择，计算设备可以向载具发送指令以执行特定导航选项。载具可以被配置为通过在监视环境中的改变的同时执行特定导航选项而从第一位置导航到第二位置。定导航选项而从第一位置导航到第二位置。定导航选项而从第一位置导航到第二位置。


技术研发人员：I-A.苏坎 J.赫尔巴赫 C.温特
受保护的技术使用者：伟摩有限责任公司
技术研发日：2021.09.03
技术公布日：2022/3/8