核心思想

stereo-based obstacle detection

• 从立体视觉获得的深度图中提取稀疏特征，用以提供distance keypoints 帮助障碍物 binary classifier。
• 使用dense stereo maps帮助训练障碍物 multiclass classifier。
• 上述的稀疏特征对于trajectory planning层次太低，但dense methods计算代价较大，并且使用高分辨率的摄像头时噪声较大。

Obstacle Detection using Learning-based Semantic Segmentation

使用DCNN可以从二维图像数据中学习obstacle map。 这一步是为了提供对障碍物的更为robust 的估计，提高AUV的trajectory planning的能力

binary classifier(粗糙的深度图)

• 分为obstacle 和 non-obstacle
• 人工标注obstacle 和 non-obstacle，不考虑距离信息
• coarse map 通过sparse depth features增强

multiclass classifier(dense深度图)

• obstacle 根据到相机的距离分为C类，non-obstacle单独为一类
• 根据障碍物的distance分为三类，near,mid-field,far
• 密集地图的直接输出是有噪声的，并通过深度范围的第一个上边界进行过滤，其他一切都被认为是一个障碍
• 通过手动从训练集中移除离群点获得平滑的边界

Generating Course 3D Obstacle Maps for Navigation

• coarse binary map可以通过深度信息来增强。
• 在obstacle 区域中提取稀疏的深度特征点，获得图像中稀疏的深度点。
• 然后将这些稀疏深度点外推到二值地图的“障碍”区域，以提供更详细的深度信息
  • 首先，利用二元障碍分类器的输出作为掩模，将外推区域作为障碍面。将图像内的障碍边界设置为最大的稀疏深度范围，而图像上的边缘设置为最近的稀疏特征范围
  • 整个图像的表面插值使用稀疏的3D特征的Delaunay三角剖分
• 可以看出，最终得到的地表图以适合于近距离障碍物探测、规划和反应式视觉伺服的保真度来表示场景的地形

实验

采集水下图像，验证所提出的二分类、多分类、通过二分类结合稀疏特征生成3D obstacle range surface的方法，结果如下

• 在实际场景中验证本文的方法，该方法能可靠地从自由空间中分割出二值图和多类图中的障碍物，并能忠实地再现摄像机前的相对三维距离图

总结

• 提出了两种基于稀疏立体特征匹配和单目语义图像分割的障碍物检测方法
• 首先，使用一个二元(两类)分类器来检测图像中是否存在任何潜在的障碍。
• 第二种是多级障碍探测器，它的预测输出表示图像中障碍物的范围(近、中、远或无障碍物)。
• 将二分类器的输出与立体图像的稀疏特征相结合，生成图像场景中地形的三维障碍图。
• 结果表明，该算法具有较强的障碍物检测和距离估计能力。这对于计算资源有限、标准声呐或立体成像系统性能较差的水下机器人路径规划是有益的。