ORB-SLAM2的编译运行以及TUM数据集测试
ORB-SLAM2的编译运行以及TUM数据集测试
近段时间一直在学习高翔博士的《视觉SLAM十四讲》,学了以后发现自己欠缺的东西实在太多,好多都需要深入系统的学习。ORB-SLAM2是一套完整的SLAM方案,提供了单目,双目和RGB-D三种接口。它能够实现地图重用,回环检测和重新定位的功能。无论是在室内的小型手持设备,还是到工厂环境的无人机和城市里驾驶的汽车,ORB-SLAM2都能够在标准的CPU上进行实时工作。ORB-SLAM2在后端上采用的是基于单目和双目的光束法平差优化(BA)的方式,这个方法允许米制比例尺的轨迹精确度评估。此外,ORB-SLAM2包含一个轻量级的定位模式,该模式能够在允许零点漂移的条件下,利用视觉里程计来追踪未建图的区域并且匹配特征点。 可以说,ORB_SLAM2是近几年SLAM的集大成者,它吸收了近几年monoslam领域的很多理论成果,比如逆深度的使用,g2o工具箱的优化等。而且以orb特征贯穿始终,从一开始的特征处理,匹配,以及用于回环的bag-of-words,词典,全用的是orb。缺点在于它的的建图部分只含有稀疏的map point,这不仅让最终建的图很难看,而且对于机器人下一步的应用会造成很大困难。
文章主要对ORB-SLAM2进行编译运行。以及下载TUM上的数据集。然后跑自己的数据集,以及利用笔记本摄像头进行测试。
前期准备
链接在此:https://github.com/raulmur/ORB_SLAM2
使用git clone https://github.com/raulmur/ORB_SLAM2 下载ORB-SLAM2 根据Gthub上给的依赖项 进行安装
系统环境:
ubuntu 16.04 LTS 安装好gcc g++ cmake git (这里就不细说了)
安装依赖库
(1)安装Pangolin
git clone https://github.com/stevenlovegrove/Pangolin.gitcd Pangolin 进行下载
安装依赖:
a、opengl:
b、GLEW:
sudo apt-getinstall libglew-dev
c、Boost:
sudo apt-getinstall libboost-devlibboost-thread-devlibboost-filesystem-dev
d、Python2/Python3:
sudo apt-getinstall libpython2.7-dev
e、编译基础库
sudo apt-getinstall build-essential
安装Pangolin:
终端里输入
mkdir build
cd build
sudo cmake ..
sudo make-j(建议不要使用make-j,使用make。如果用make-j是使用多处理器编译,可能造成死机)
(2)安装OpenCV
安装依赖:
a、编译器相关:
sudo apt-getinstall build-essential
b、必须依赖:
sudo apt-getinstall cmake git libgtk2.0-devpkg-configlibavcodec-devlibavformat-devlibswscale-dev
c、可选安装:
sudo apt-getinstall python-devpython-numpylibtbb2 libtbb-devlibjpeg-devlibpng-devlibtiff-devlibjasper-devlibdc1394-22-dev
安装OpenCV:
a、官网下载OpenCV 2.4.11 forLinux下载地址,解压到Ubuntu中
b、进入OpenCV文件夹,配置工程
mkdirreleasecdreleasecmake -D CMAKE_BUILD_TYPE=RELEASE-D CMAKE_INSTALL_PREFIX=/usr/local ..
c、编译
makesudomakeinstall
(3)安装Eigen
下载Eigen下载地址,进入到在解压后的Eigen文件夹(例如eigen-eigen-07105f7124f9)下
mkdir buildcdbuildcmake ..makesudomake install
(7)安装BLAS and LAPACK库
sudo apt-getinstall libblas-dev
sudo apt-getinstall liblapack-dev
g2o需要BLAS和LAPACK
(1) BLAS: Basic Linear Algebra Subprograms
提供了基本的向量和矩阵操作:
- Level-1 BLAS: 支持 标量、向量、向量-向量 操作
- Level-2 BLAS: 支持 矩阵-向量 操作
- Level-3 BLAS: 支持 矩阵-矩阵 操作
(2) LAPACK:Linear Algebra PACKage
它调用BLAS来实现更高级的功能,支持以下操作:
- 解线性方程组
- 线性方程组的最小二乘解
- 特征值问题和奇异值问题
- 矩阵分解 (LU, Cholesky, QR, SVD, Schur, generalized Schur)
- 支持密集和带状矩阵,但不支持一般的稀疏矩阵
- 支持单精度和双精
DBoW2 and g2o (Included in Thirdparty folder)
ORB_SLAM2使用修改版的DBoW2 库进行位置识别 ,使用 g2o 库进行非线性优化. 这两个修改版的库被放在第三方文件夹内.
总的对于 opencv 和 eigen3,可以简单的用一行命令来解决:
sudo apt-get install libopencv-dev libeigen3-dev libqt4-dev qt4-qmake libqglviewer-dev libsuitesparse-dev libcxsparse3.1.2 libcholmod-dev 其中一部分是 g2o 的依赖项,不用太在意它的具体内容。至此,应该可以顺利编译 ORB-SLAM2 了
ORB-SLAM2进行编译
编译ORB_SLAM2库和例子程序(单目、双目和RGB-D)
cd ORB_SLAM2
chmod +x build.sh
./build.sh
生成的libORB_SLAM2.so位于lib目录下,可执行程序mono_tum, mono_kitti, rgbd_tum, stereo_kitti, mono_euroc and stereo_euroc位于Examples目录下。
Monocular 实例运行
在下载TUM数据集:TUM数据集 下载并解压一个序列,如:rgbd_dataset_freiburg1_desk1.tgz
然后在ORB-SLAM2目录下创建一个文件夹 Data 将数据集放置在该文件夹下,并进行解压。
cd ORB-SLAM2
mkdir Data
tar -zxvf rgbd_dataset_freiburg1_desk.tgz
接下来 在终端输入
./Examples/Monocular/mono_tum Vocabulary/ORBvoc.txt Examples/Monocular/TUM1.yaml Data/rgbd_dataset_freiburg1_desk
完成运行 结果如下:
![](https://upload-images.jianshu.io/upload_images/8442198-7cfc60625e01ef84.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1000)
RGB-D 测试实例
按照要求下载数据集,下载的是rgbd_dataset_freiburg2_pioneer_360,将其解压到你喜欢的目录.我放在了ORB-SLAM2/Data目录下面
2.下载associate.py.放在/ORB_SLAM2/Examples/RGB-D/目录下面.
3.打开终端,进入到associate.py所在目录,即/ORB_SLAM2/Examples/RGB-D/,之后运行
python associate.py PATH_TO_SEQUENCE/rgb.txt PATH_TO_SEQUENCE/depth.txt > associations.txt
这里的PATH_TO_SEQUENCE 是指的下载数据集的目录里面有depth.txt 和 rgb.txt
![](https://upload-images.jianshu.io/upload_images/8442198-4a6b7d80a7fffada.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/895)
所以上述的我的输入:python associate.py ../../Data/rgbd_dataset_freiburg2_pioneer_360/rgb.txt ../../Data/rgbd_dataset_freiburg2_pioneer_360/depth.txt > associations.txt
运行之后在该目录中将会生成一个associations.txt文件.
4.参照所给链接中的第3步,https://github.com/raulmur/ORB_SLAM2,即
./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUMX.yaml PATH_TO_SEQUENCE_FOLDER ASSOCIATIONS_FILE
PATH_TO_SEQUENCE_FOLDER文件夹即为数据库所在文件夹,我的是在orbslam2工程下面,
ASSOCIATIONS_FILE即为第3步中生成的associations.txt,给出他的制定目录位置。
即:./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUM1.yaml Data/rgbd_dataset_freiburg2_pioneer_360 Examples/RGB-D/associations.txt
遇到的问题:
由于我之前安装的python中没有numpy模块 后面在生成associations.txt文件的时候一直报错,只需要安装 重新生成就可以了。
sudo apt-getinstall python-devpython-numpy
运行结果:
![](https://upload-images.jianshu.io/upload_images/8442198-20ba9a8a68113bd7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1000)
跑自己的数据集测试
自己的数据集,是利用外部摄像头采集的一系列视频数据。这些数据需要进行处理,首先将视频读取成图像,再传给slam进行处理。
这里分别有myvideo.cpp 和 myvideo.yaml文件 需要将他们进入到CMakeListx.txt中。一下是给出的CMakeListx.txt 方案。
![](https://upload-images.jianshu.io/upload_images/8442198-b622c1e29c5ceca8.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/635)
在目录./Examples新建文件夹 myvideo 将myvideo.cpp 和 myvideo.yaml文件放置在该文件夹下。
myvideo.cpp中的一些加载路径需要修改
接着在终端输入:
./Examples/myvideo/myvideo Vocabulary/ORBvoc.txt Examples/myvideo/myvideo.yaml Examples/myvideo/myvideo.mp4
运行结果:
![](https://upload-images.jianshu.io/upload_images/8442198-ad6619eb1f17b82a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1000)
CMakeListx.txt
运行笔记本摄像头 测试数据
同理 和运行自己的数据集一样,添加CMakeListx.txt 方案,和上述一样,过程也一致
![](https://upload-images.jianshu.io/upload_images/8442198-ad81e3357bfefe1f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/623)