Drouilly, Romain, Patrick Rives, and Benoit Morisset. “Semantic representation for navigation in large-scale environments.” 2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015.

贡献

• 提出了一种考虑环境语义信息的路径选择框架
• 提出了根据语义信息描述路径的新方法

核心原理

1.语义地图的构建

• 使用球形相机捕捉场景
• 使用随机森林（Random Forests）进行像素级类别预测
• 使用全连接随机场（Fully Connected Conditional Random Field）对结果进行细化
• 把图像中的不同的语义物体连接起来，构成局部的semantic graph $\textbf{G}={A,E}$

  A代表物体语义类别作为节点，E代表语义区域相互连接的边

2.基于语义上下文的自定位

• 定位问题描述一个 content request problem
• 从当前相机获取的标注图像中提取local semantic graph
• 将当前的submap和其他的submap比较相似性

$$\sigma\left(G_{1}, G_{2}\right)=\exp ^{1-\frac{N}{N_{m}}}$$

$N_m$表示两个图中匹配的节点数，$N$表示当前视场中的节点数

• 最高得分$\sigma$对应的submap即为可能的位置

3.基于语义信息的Route Planning

• 路线定义为一系列邻接local submap的集合，实际是在global graph中找到一条路径
• 根据语义信息定义一个启发式的cost function来为每条边计算权重
• 权重越大，对这条边的惩罚越大

启发式代价函数在构造时考虑如下因素：

3.1 共享object的数目

• 为了保证机器人在导航时环境改变尽可能小，这样可大大减少定位丢失的情况
• 因此两个submaps共有的object数目越多，越应该采纳
• 定义 Shared Object Score S 为

$$S(G_1,G_2)=1-\sigma(G_1,G_2)$$

3.2 object 类别

• 在导航过程中不同的物体对导航的作用是不一样的，对每个物体赋值一个权重
• 动态物体不适合用于稳定landmark
• 定义 Class Score C 为每个shared object的类别权重均值
• 此均值可度量场景的动态性，动态性越强惩罚越高

$$C\left(G_{1}, G_{2}\right)=\frac{1}{N_{m}} \sum_{i \in A_{12}} w\left(c_{i}\right)$$

$c_i$代表object i对应的类别，$w_i$代表其对应的权重

3.3 object的可观性

• 如果object在一个很长的路径范围内能被观察到，那么它可以作为landmark
• 构造一个index table，将每个物体对应的能观测到它的submap的数目存入表中
• 定义 Observability Score O 为

$$O\left(G_{1}, G_{2}\right)=\frac{1}{N_{m}} \sum_{i \in A_{12}}\left(1-\exp \left(1-\frac{o_{\max }}{o_{i}}\right)\right)$$

$o_i$代表每个物体的独立可观性

3.4 object的空间分布

• 为了约束姿态，在球面图像中观察各个方向的物体是很重要的，理想的方法是在所有方向上找到相同数量的物体
• 定义理想分布为均匀概率分布，表示为$P$
• 将图像分为上下左右四部分，计算真实分布，表示为$Q$
• 计算$P$和$Q$之间的KL散度（Kullback-Leibler divergence）

$$K L(Q \| P)=\sum_{i=1}^{4}\left(P(i) \cdot \log \left(\frac{P(i)}{Q(i)}\right)\right.$$

• 定义 Repartition Score R 为

$$R=1-\exp (-K L(Q \| P))$$

最终，一条由N条边组成的path的代价定义为

$$F_{s}(p)=\sum_{i=1}^{N} S\left(e_{i}\right)+C\left(e_{i}\right)+O\left(e_{i}\right)+R\left(e_{i}\right)$$

然后使用 Dijkstra’s algorithm 求解得到最优路径

4.语义路径描述

• 不使用地点来描述路线，适用于室内和室外的环境
• 通过选择标签置信度较高的稳定对象，自然地减轻了标签错误

4.1 路线描述语言

• 路线由local submap的有序序列组成
• 描述从$s_i$到$s_{i+1}$的转移$t_{i \rightarrow i+1}$由两部分组成：
  • movement type: turn 或者 move forward/backward
  • amplitude: do movement until
• 把每个图片分为四部分$Q_i$，方向描述为一系列的物体方向约束例如

  {object 1 $\in Q_{front}$,object 2 $\in Q_{right}$,object 3 $\in Q_{back}$}

• 方向描述如下图所示：旋转使物体向同一方向移动，而平移则引起不同的视动

• 每个动作的幅值通过给定停止条件（Stop constraints）来确定，例如

  robot turns left until blue object 2 $\in Q_{left}$,purple 2 $\in Q_{right}$ and yellow 2 $\in Q_{back}$

• 另外，新物体出现在视场中或者某个物体消失也可作为停止约束

  4.2 Description Compression 路线描述压缩

• 有些物体在视场中短暂可见，对导航没有帮助
• 如果观察到相同的物体，且运动是恒定的，那么对于长范围内连续的姿态，约束集是类似的

基于此，可将路线描述进行压缩，只考虑在长时间范围内可见的objects，并保持相同的约束集。在observaility score表中寻找最佳约束。每步中有新的约束时，先检查已有约束。如果已有约束有效，则不添加新的约束。

实验

实验部分分别在虚拟环境和真实环境中验证所提路线规划和路线描述框架。

A. 虚拟环境中的路线规划

实验表示选择路径时倾向于选择低动态性、直线部分长和object更多的路线。拥有大量对象的区域包含更多的动态对象。那么最佳路径的选择是不同分数之间的权衡问题。

B. 真实世界中的路线规划

评估给定不同起始位置的路径权值，以达到相同的目标。我们还计算了每条路的长度，计算方法是每个连续submap的距离之和

• 根据语义标准，最佳路径是第一个，即使它稍微长一些。
• 在道路1有很多车，但他们都集中在一个地方。这样一来，它们就会表现为几个语义区域，机器人会考虑路径1的动态性比路径2的动态性要低。在路径2中，车辆沿着轨迹分布，并被单独识别。
• 此外，第一个路径是一条直线，可以在长范围内跟踪物体。与路径2相比，它具有更好的可观测性。
• 表明，路径长度不是最佳的导航选择，因为经典算法会选择最动态的路径。

总结

• 在连续图像和考虑邻域内对object进行跟踪，可以解决遮挡问题
• 通过监测环境改变考虑环境的长期演化，可以改善路径规划过程，为机器人提供更多关于场景动态方面的信息。