同步定位和地图构建（SLAM）和深度学习（DL）中的经典内容，都有几十年的研究历史。让一个机器人绕开面前的冰箱，靠的是SLAM；让一个机器人认出面前的冰箱，靠的是DL。SLAM考虑的是几何问题，DL考虑的是识别、分类问题。几何方法和学习方法，已经成为现代计算机视觉的两根支柱。随着设备计算能力的提高，实时SLAM正在成为可能。这篇ICCV文章点评了近十多年来SLAM领域的典型系统和重量级专著，并指出了一个有意思的研究方向，即使用SLAM 助力深度学习；因为今天的SLAM系统可以用来生成大规模数据集，而这正是深度卷积神经网络所需要的。

 ——0glass 首席科学家 徐泽明

上一届国际计算机视觉大会ICCV，成为了深度学习技术的主场，但在我们宣布卷积神经网络的全面胜利之前，让我们先看看计算机视觉的，非学习几何方面的进展如何。同步定位与地图构建可以说是机器人学领域最重要的算法之一，在计算机视觉和机器人研究社区完成了一些开创性的工作。本文将总结来自 ICCV 实时 SLAM 的未来研讨会的要点。

这篇文章包含了对 SLAM 的简要介绍、对研讨会上讲到的事情的详细描述（全部七个演讲的总结）和会议结尾处的以深度学习为中心的小组讨论中的关键信息。

SLAM visualizations. 你能识别出这些SLAM运算法则中的任何一种吗？

第一部分：为什么 SLAM 很重要

视觉 SLAM 算法可以实时构建世界的 3D 地图，并同时追踪摄像头（手持式或增强现实设备上的头戴式或安装在机器人上）的位置和方向。SLAM 是卷积神经网络和深度学习的补充：SLAM 关注于几何问题而深度学习是感知、识别问题的大师。如果你想要一个能走到你的冰箱面前而不撞到墙壁的机器人，那就使用 SLAM。如果你想要一个能识别冰箱中的物品的机器人，那就使用卷积神经网络。

SfM/SLAM 基本原理：一个场景的 3D 结构是根据点观察和固有的摄像头参数，从摄像头的估计的运动中计算出来的.

SLAM 是 SfM（运动恢复结构：Structure from Motion）的一种实时版本。

视觉 SLAM 或基于视觉的 SLAM 是 SLAM 的一种仅使用摄像头的变体，放弃了昂贵的激光传感器和惯性测量单元。单眼 SLAM仅使用单个摄像头，而非单眼 SLAM通常使用一个预校准的固定基线的立体相机套件。SLAM 是计算机视觉领域所谓的几何方法中最好案例。事实上，卡内基梅隆大学的机器人研究所将研究生水平的计算机视觉课程分成了一个基于学习的视觉方法和一个单独的基于几何的视觉方法的课程。

1.运动恢复结构 vs 视觉 SLAM

运动恢复结构（SfM）和 SLAM 所解决的问题非常相似，但 SfM 传统上是以离线形式进行的，而 SLAM 则已经慢慢走向了低功耗/实时/单 RGB 相机的运行模式。今天许多运动恢复结构方面的专家都在为世界上一些最大的科技公司，帮助打造更好的地图。如果没有关于多视图几何、SfM 和 SLAM 的丰富知识，像谷歌地图这种成功的地图产品根本就不可能出现。典型的 SfM 问题遵循：给定一个单个室外结构（如大剧场/大体育馆）的大型照片集合，构建该结构的 3D 模型并确定每个相机的姿势。这个照片集合以离线形式处理，而且大型结构重建所需时间从几小时到几天不等。

SfM 软件：Bundler 是最成功的 SfM 开源库之一

这里给出一些流行的 SfM 相关的软件库：

Bundler：一个开源的运动恢复结构工具包

Libceres：一个非线性最小二乘极小化工具（对束调整（bundle adjustment）问题很有用）

第二部分：实时 SLAM 的未来

演讲三：Torsten Sattler 谈大规模定位与地图构建面临的挑战

Torsten Sattler 的演讲谈论了大规模定位与地图构建。这项工作的目的是在已有的地图内执行六个自由度的定位，尤其是移动定位。演讲中的一个关键点是：当你使用传统的基于特征的方法时，存储你的描述很快就将变得非常昂贵。视觉词汇表（记得产品量化吗？）等技术可以显著减少存储开销，再加上某种程度的巧妙优化，描述的存储将不再成为存储瓶颈。

Sattler 的演讲给出的另一个重要的关键信息是正确数据的数量实际上并不是相机姿态估计的很好的置信度测量。当特征点全都集中于图像的单一一个部分时，相机定位可能会在千里之外！一个更好的置信度测量是有效正确数据计数，其可以将正确数据所在的区域作为整体图像区域的一个部分来进行审查。你真正希望得到的是整体图像上的特征匹配——如果信息散布在整个图像上，你能得到更好的姿态估计。

Sattler 对未来实时 SLAM 的演讲是这样的：我们应该关注紧凑型的地图表征，我们应该对相机姿态估计置信度有更好的理解（如树上权重下降的特征），我们应该在更有挑战性的场景中研发（如带有平面结构的世界和在白天的地图上的夜间定位）。

移动定位：Sattler 的关键问题是使用单张智能手机图片在大城市里定位你自己

演讲四：Mur-Artal 谈基于特征的方法 vs 直接方法

ORB-SLAM 的创造者  Mur-Artal 的演讲内容全部围绕着 SLAM 领域内基于特征的方法 vs 直接方法的争论，而他显然站在基于特征的方法一边。ORB-SLAM 可通过一个开源的 SLAM 软件包获取，而且它很难被击败。在他对 ORB-SLAM vs PTAM 的评价中，似乎 PTAM 实际上常常失败（至少在 TUM RGB-D 基准上）。LSD-SLAM 在 TUM RGB-D 基准上的错误通常远高于预期。

基于特征的方法 vs 直接方法

演讲五：Tango 项目和用于图像到图像限制的视觉环路闭合

简单来说，谷歌的 Tango 项目是世界上第一个商业化 SLAM 的尝试。来自 Google Zurich 的 Simon Lynen（之前属于 ETH Zurich）带着一个 Tango 现场演示（在一台平板电脑上）来到了研讨会，并展示了 Tango 世界的新内容。你可能不知道，谷歌希望将 SLAM 能力集成到下一代安卓设备中。

谷歌的Tango项目

Tango 项目展示讨论了一种通过在图像到图像匹配矩阵中寻找特定的模式以进行环路闭合的新方法。这 个方法是来自没有固定位置的位置识别成果。他们也做带有基于视觉的环路闭合的在线束调整。

Tango 项目里的循环闭合

这种图像到图像矩阵揭示一种寻找环路闭合的新方法。可在该 YouTube 视频中查看工作中的算法。

Tango 项目的人也在研究将谷歌多个众包地图结合起来，其目标是将由不同的人使用配置有 Tango 的设备创造的多个迷你地图结合起来。

Simon 展示了一个山地自行车轨迹跟踪的视频，这在实践中实际上是相当困难的。其中的想法是使用一个 Tango 设备跟踪一辆山地自行车，并创建一份地图，然后后续的目标是让另外一个人沿着这条轨迹走。这个目前只是半有效状态——当在地图构建和跟踪步骤之前有几个小时时间时有效，但过了几周、几个月就没效果了。

在 Tango 相关的讨论中，Richard Newcombe 指出 Tango 项目所使用的 “特征” 在更深度地理解环境上还是相当落后的，而且看起来类似 Tango 项目的方法无法在室外场景中起作用——室外场景有非刚性大量光照变化等。所以我们有望见到为室外环境设计的不同系统吗？Tango 项目将成为一个室内地图构建设备吗？

演讲六：ElasticFusion 是没有姿态图形的密集型 SLAM

ElasticFusion 是一种需要 Kinect 这样的 RGBD 传感器的密集型 SLAM 技术。2-3 分钟就能获得单个房间的高质量 3D 扫描，这真是相当酷。许多 SLAM 系统的场景背后都使用了姿态图形，这种技术有一种不同的（以地图为中心）方法。该方法专注于构建地图，但其诀窍是其构建的地图可以变形，也因此得名 ElasticFusion（弹性融合）。其中算法融合的部分是向 KinectFusion 致敬——KinectFusion 是第一个高质量的基于 Kinect 的重建方式。Surfels 也被用作底层的基元。

图片来自 Kintinuous，Whelan 的 Elastic Fusion 的早期版本

恢复光源：我们一窥了来自伦敦帝国学院/戴森机器人实验室的尚未发表的新研究成果。其中的想法是通过探测光源方向和探测镜面反射，你可以提升 3D 重建的结果。关于恢复光源位置的炫酷视频显示其最多能处理 4 个独立光源。

演讲七：Richard Newcombe 的 DynamicFusion

Richard Newcombe（他最近成立的公司被 Oculus 收购）是最后一位展示者。Richard Newcombe 是 DTAM、KinectFusion 和 DynamicFusion 背后的人，见到他真是非常酷；他目前从事虚拟现实领域的研发。

Newcombe 的 DynamicFusion 算法。该技术在声望很高的 CVPR 2015中获得最佳论文奖。

2.研讨会演示

在演示会议期间（在研讨会中间举行），许多展示者展示了他们的 SLAM 系统工作中的样子。这些系统中许多都是以开源软件包的形式提供的，所以如果你对实时 SLAM 感兴趣，可以尝试下载这些代码。但是，最亮眼的演示是 Andrew Davison 展柜上他的来自 2004 年的 MonoSLAM 演示。Andrew 不得不恢复了已有 15 年岁月的计算机（运行的是 Redhat Linux）来展示他原来的系统，运行在原来的硬件上。如果计算机视觉社区将决定举办一场复古视觉的演示会议，那我马上就将会提名 Andrew 应得最佳论文奖。

Andrew 复古的视觉 SLAM 配置

看着 SLAM 系统专家挥动自己的 USB 摄像头真是一件有趣的事——他们在展示他们的系统围绕他们的笔记本电脑构建周围桌子大小区域的 3D 地图。如果你仔细看了这些专家移动摄像头的方式（即平稳的圆圈运动），你几乎就能看出一个人在 SLAM 领域工作了多长时间。当一位非专家级的人拿着摄像头时，跟踪失败的概率明显更高。

我有幸在演示会议期间和 Andrew 进行了交谈，我很好奇这一系列的成果（过去 15 年中）中哪一个最让他感到惊讶。他的回答是 PTAM 最让他吃惊，因为其表明了实时束调整执行的方式。PTAM 系统本质上是 MonoSLAM++ 系统，但因为采用了一种重量级算法（束调整）而显著提高了跟踪效果并做到了实时——在 2000 年早期 Andrew 还认为“实时”是不可能办到的。

第三部分： 深度学习 VS SLAM

SLAM 小组讨论真是乐趣无穷。在我们进入重要的深度学习 vs SLAM讨论之前，我应该说明每一位研讨会展示者都同意：语义对构建更大更好的 SLAM 系统是必需的。关于未来的方向，这里有很多有趣的小对话。在争论中，Marc Pollefeys（一位知名的 SfM 和多视角几何研究者）提醒所有人，机器人是 SLAM 的一个杀手级应用，并建议我们保持对大奖的关注。这令人非常惊讶，因为 SLAM 传统上是适用于机器人问题的，但过去几十年机器人并没有什么成功（谷歌机器人？），导致 SLAM 的关注重点从机器人转移到了大规模地图构建（包括谷歌地图）和增强现实上。研讨会上没人谈论过机器人。

1.将语义信息集成到 SLAM 中

人们对将语义整合到今天最出色的 SLAM 系统中有很大兴趣。当涉及语义时， SLAM 社区不幸地卡在了视觉词袋（bags-of-visual-words）的世界里，而在如何将语义信息整合进他们的系统上没有什么新想法。在语义一端，我们现在已经看到 CVPR/ICCV/ECCV 上冒出了很多实时语义分割演示（基于卷积神经网络）；在我看来，SLAM 需要深度学习，而深度学习也一样需要 SLAM。

人们经常谈到将语义整合进 SLAM，但说起来容易做起来难。图片来自 Moreno 的博士论文（142 页）：密集型语义 SLAM

2.端到端学习会主宰 SLAM 吗？

在 SLAM 研讨会小组讨论结束时，Zeeshan Zia 博士提出了一个震惊所有人的问题，并引发了一场充满能量的讨论，令人难忘。你应该看看小组成员们脸上的表情。那就像是将一个深度学习的火球投向一群几何学家。他们的面部表情表达出了他们的困惑、愤怒和厌恶。他们想：你怎么敢质疑我们？正是在这些稍纵即逝的时刻，我们才能真正体会到大会的体验。Zia 的问题基本上是：在构建今天的 SLAM 系统时，端到端学习很快就将取代大部分人工劳动吗？

Zia 的问题非常重要，因为端到端的可训练系统已经慢慢进入到了很多高级的计算机问题中，相信 SLAM 会是一个例外是没有道理的。有好几位展示者都指出当前的 SLAM 系统过于依赖几何，以至于让完全基于深度学习的 SLAM 系统看起来不合理了——我们应该使用学习技术得到更好的点描述，而不要管几何。你可以使用深度学习做一个计算器，并不意味你应该这么做。

通过卷积神经网络学习立体相似度函数，来自 Yan LeCun 及其合作者

尽管许多小组讨论发言人都使用了有些肯定不行回应，但让人惊讶的是，却是 Newcombe 声援了深度学习和 SLAM 联姻的可能。

3.Newcombe 的提议：使用 SLAM 助力深度学习

尽管 Newcombe 在深度学习可能如何帮助 SLAM 上没有提供很多证据或想法，但他却为 SLAM 如何可能为深度学习提供帮助给出了一条清晰的路径。想想看我们使用大规模 SLAM 已经构建出的地图以及这些系统所提供的对应——这难道不是一个构建能帮助深度学习的万亿级图像到图像相关数据集的清晰路径吗？其基本思路是：今天的 SLAM 系统是大规模的对应引擎，可以用来生成大规模数据集，而这正是深度卷积神经网络所需要的。

第四部分：结束

这次 ICCV 大会上主流的工作（重在机器学习）和本次实时 SLAM 研讨会所呈现出现的工作（重在束调整等几何方法）之间存在相当大的脱节。主流的计算机视觉社区在过去十年内已经见证了多次小型变革（如：Dalal-Triggs、DPM、ImageNet、ConvNets、R-CNN），而今天的SLAM系统和它们八年前的样子并没有很大的不同。Kinect 传感器可能是SLAM领域唯一的最大的彻底变革的技术，但基础算法仍旧保持着原样。

集成语义信息：视觉 SLAM 的下一个前沿. 来自 Arwen Wallington 博客的脑图

今天的 SLAM 系统能帮助机器在几何上理解眼前的世界（即在本地坐标系中构建关联），而今天的深度学习系统能帮助机器进行分类推理（即在不同的对象实例之上构建关联）。总的来说，在视觉 SLAM 上，我与 Newcombe 和 Davison 一样兴奋，因为基于视觉的算法将会将增强现实和虚拟现实转变成一个价值数十亿美元的产业。但是，我们不应忘记保持对那个万亿美元市场的关注，那个将重新定义 “工作” 的市场——机器人。机器人SLAM的时代很快就要到来了。