在ROS系统下,获取tango的RGBD信息和Pose信息

  Project Tango 是从Google 的 Advanced Technology and Projects group (ATAP) 孵化出来的一个项目,诚如ATAP高级工程师Johnny Lee 所言,"We're developing the hardware and software technologies to help everything and everyone understand precisely where they are, anywhere."

  Tango强大在于它的其服务于环境感知的SDK,其核心是三大组件:

  • Motion Tracking

运动跟踪,Tango通过自身的传感器感知自身的6自由度信息。这部分是三大组件的核心功能。具体上来讲,tango使用视觉+惯性器件,实现了VIO(visual-inertial odometry)算法,下面会进一步介绍。

  • Depth Perception

深度感知,主要是通过Tango搭载的深度传感器的原始数据生成点云,服务于一些3D建模的应用。

  • Area Learning

区域建模,可以认为是在motion tracking 基础上的一个增强。它可以将之前走过的路径记录下来,同时生成空间中的3D landmark,这些信息可以用于下一次开机之后的重定位。这个功能可以使用户可以在已经建模好的地图中定位自己,减小误差。


  Motion tracking 是tango SDK的最核心。
  
  Motion tracking的核心是 视觉惯性里程计(Visual-inertial Odometry,VIO),它通过视觉以及惯性信息获得载体的空间六自由度位置和姿态。和单纯的视觉里程计不同,VIO可以获得载体运动以及环境的真实的尺度。这可以更好地位服务于对环境的感知。

        VIO融合对空间中视觉特征以及惯性测量的观测,来定位。上图中绿色的就是tango提取的特征点,VIO融合两种传感器信息,解决尺度漂移的同时也估计了IMU的bias。

   其实如果tango作为精确传感器数据融合的一个工具,是kinect非常棒的替代品,在机器人SLAM领域可以有更多应用。最近我在做的一个工作就是将tango中的数据提取出来,通过tango VIO精确定位,实现对室内场景的更好定位。

         1、安装 Tango ROS Streamer

         Tango ROS Streamer是一款适用于探戈设备的Android应用程序和ROS节点。其主要目的是为ROS生态系统提供Tango传感器数据,以便在机器人上轻松使用Tango功能。

         

            详细安装看介绍,一般来说联想国行坑爹的tango不会有这个APK,也不会让你上Google play上下载这个apk(多方证实,不要再浪费精力)。所以还是在网上找个老版本的APK下载下来使用。

        只要你的14.04安装好了ROS,那么你就可以通过    配置文件    可视化从tango获取的数据

 rosrun rviz rviz -d <path_to_rviz_config_file>

  

   2、tango在ROS下的服务node安装

   上面两步,我们已经能订阅tango的topic,获得tango的这些信息

android/imu (sensor_msgs/Imu)

IMU message from the Android sensors.

tango/camera/color_1/camera_info (sensor_msgs/CameraInfo)

Camera info of the Tango device color camera.

tango/camera/color_1/image_raw (sensor_msgs/Image)

Image of the Tango device color camera.

tango/camera/color_1/image_rect (sensor_msgs/Image)

Rectified image of the Tango device color camera.

tango/camera/fisheye_1/camera_info (sensor_msgs/CameraInfo)

Camera info of the Tango device fisheye camera. The fisheye camera data is not available on devices with API level > 23. This topic is therefore not advertised for these devices.

tango/camera/fisheye_1/image_raw (sensor_msgs/Image)

Image of the Tango device fisheye camera. The fisheye camera data is not available on devices with API level > 23. This topic is therefore not advertised for these devices.

tango/camera/fisheye_1/image_rect (sensor_msgs/Image)

Rectified image of the Tango device fisheye camera. The fisheye camera data is not available on devices with API level > 23. This topic is therefore not advertised for these devices.

tango/laser_scan (sensor_msgs/LaserScan)

Laser scan message created from the Tango point cloud, expressed in laser frame.

tango/point_cloud (sensor_msgs/PointCloud2)

Point cloud of the Tango device depth sensor, expressed in camera_depth frame.

  然而我们无法获取深度图信息,我们只有上面的point cloud信息。

  目前我发现最容易获取深度图信息的方法只有我找到了。

 

  3、安装rtabmap_ros       

          中文安装教程

rosrun rtabmap_ros pointcloud_to_depthimage cloud:=/tango/point_cloud camera_info:=/tango/camera/color_1/camera_info _fixed_frame_id:=start_of_service _decimation:=8 _fill_holes_size:=5

  当然安装rtabmap_ros也有很多坑,分别通过stark overflow还有ros wiki基本能解决。比如opencv中有未定义函数啥的,这个我后面再整理。建议下载最新的rtabmao_ros源文件编译执行。

      坑1:The general issue is with the "nonfree" parts of opencv,需要重新编译opencv,关闭opencl编译

cmake -D CMAKE_BUILD_TYPE=RELEASE -D WITH_OPENCL=OFF -D CMAKE_INSTALL_PREFIX=/usr/local .

  安装opencv TIP:

       1、依赖包

[compiler] sudo apt-get install build-essential
[required] sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
[optional] sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

  2、编译安装

unzip opencv-2.4.13.zip
cd opencv-2.4.13/
cmake -D CMAKE_BUILD_TYPE=RELEASE -D WITH_OPENCL=OFF -D CMAKE_INSTALL_PREFIX=/usr/local .
make    # make -j4表示开4个线程来进行编译
make install

    

 

 上面的命令执行后,就能在topic list里找到深度图的话题了。

posted @ 2018-05-15 13:46  Bamboo123  阅读(1237)  评论(0编辑  收藏  举报