利用ROS工具从bag文件中提取图片
bag文件是ROS常用的数据存储格式,因此要从bag文件中提取数据就需要了解一点ROS的背景知识。
1. 什么是ROS及其优势
ROS全称Robot Operating System,是BSD-licensed系统用于从PC上控制机器人组件。ROS系统由一系列的独立node组成,彼此间通过publish/subscribe消息传递模式相互沟通。比如某个传感器驱动由某个node执行,将该传感器数据用message stream的形式publish,而这些message则可以在数据处理或者日志节点被使用。
因为ROS的node不需要一定在相同的系统或构架上,也就是说不同的node可以部署到不同平台的机器上(比如传感器publish数据,PC处理数据,Android智能机执行操作),故ROS非常灵活可以适应各种需求。还有一个原因就是ROS是开源的,可以免费使用和修改。
2. ROS的结构
下图举了一个ROS系统的结构:
ROS从ROS master开始,任何node都需要在master进行注册,从而方便node之间进行消息传递。这里,camera node与相机进行交流,publish名为/image_data的主题,其他节点都subscribe这个主题用于获取消息;而机器人上面的计算机有一个processing node对subscribe的图像数据进行处理;而在另一台PC上,有一个image display node对subscribe的数据进行展示。
3. ROS工具的安装
目前ros工具提供c++和python两种API,而正式支持的操作系统只有Ubuntu和Debian(linux大发好,退win保平安)。
1). 设置sources.list
允许本机接受来自packages.ros.org的包,ros kenetic值支持Ubuntu 15.10和16.04以及Debian 8。
$ sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list'
2). 设置key
$ sudo apt-key adv --keyserver hkp://ha.pool.sks-keyservers.net:80 --recv-key 421C365BD9FF1F717815A3895523BAEEB01FA116
3). 安装
$ sudo apt-get update
# 由于ros有许多库和工具可供选择,一般默认选这个版本:Desktop-Full Install: ROS, rqt, rviz, robot-generic libraries, 2D/3D simulators, navigation and 2D/3D perception
$ sudo apt-get install ros-kinetic-desktop-full
4).初始化rosdep
在使用ros之前需要初始化rosdep,rosdep可以使安装编译源所依赖的包变得很方便,也是一些ROS运行一些核心组件所需的。
$ sudo rosdep init
$ rosdep update
5).环境设置
将ROS环境变量添加到环境变量中
# 将命令添加到~/.bashrc文件中可以使每次启动新的session都加载ros变量,非常方便
$ echo "source /opt/ros/kinetic/setup.bash" >> ~/.bashrc
$ source ~/.bashrc
6).安装rosinstall
rosinstall 是在ROS中经常用到的命令行工具。
$ sudo apt-get install python-rosinstall
7).测试安装
在终端中输入rosbag/rostopic --help等命令看是否报错
4. ROS工具使用实例
1). 启动ROS master
只有在启动master之后才能开始ros的其他操作,而由于roscore一直运行,所以执行其他ros命令时需要在另一个终端中进行。
$ roscore
2). rostopic命令
a. 查看当前master下的topic
$ rostopic list # 列出topic名称,具体可用其他rostopic命令进行查看等操作。
PS:在开始的时候都会有以下两个topic:/rosout
和rosout_agg
。前者用于报道系统的debug消息后者用于整合debug消息。
b. 发布新的topic
$ rostopic pub /hello std_msgs/String “Hello Robot" # /hello 是新的topic名称;后者为topic的类型;最后引号内的"Hello Robot"是具体的消息数据。
c. 输出topic中的数据
$ rostopic echo /hello
d. 查看topic中的数据
$ rostopic info /hello
3).查看正在发布消息的node
$ rosnode list
4).查看node的具体信息
$ rosnode info /rostopic_.... # ...为数字
5. 用ros工具从bag文件中提取图片
1). 首先需要安装一些图片处理依赖的包: MJPEG, ffmpeg
$ sudo apt-get install mjepgtools
$ sudo apt-get install ffmpeg
2). 新建文件夹用于储存提取后的图片,并执行:
$ rosrun image_view extract_images _sec_per_frame:=0.01 image:=<IMAGETOPICINBAGFILE> # <IMAGETOPICINBAGFILE>为bag文件中储存图片的topic
PS:如果输出的图片数量与rosbag info
命令查询得到的数量不符,可以减少_sec_per_frame参数的值。
3). 打开另一个终端,导向岗新建的文件夹,然后执行:
$ rosbag play <BAGFILE> # <BAGFILE>为bag文件的路径
6. 将提取的图片转换成视频
PS:这部分并不涉及ros的操作,可以跳过。
这无非就是将图片压成视频,可以用FFMPEG包或者Mencoder包来执行。
1). 首先决定文件的fps。用rosscore info
来确认视频的图片数,然后除以持续的时间即可。
# 用mencoder压制
$ mencoder -nosound mf://*.jpg -mf w=<WIDTH>:h=<HEIGHT>:type=jpg:fps=<FPS> \ -ovc lavc -lavcopts vcodec=mpeg4:vbitrate=<BITRATE>\ :mbd=2:keyint=132:v4mv:vqmin=3:lumi_mask=0.07:dark_mask=0.2:mpeg_quant:scplx_mask=0.1:tcplx_mask=0.1:naq -o\ <OUTPUT>.avi # <WIDTH>为图片的宽度,<HEIGHT>为图片的长度。<FPS>就是每秒所需的图片张数。<BITRATE>决定视频的质量,越大越高,一般1800KBits以上就可以。
# 用FFMPEG压制
$ ffmpeg -r <FPS> -b <BITRATE> -i frame%04d.jpg <OUTPUT>.avi
7. 提取bag文件中的数据并保存为csv格式
对于非图片数据,大部分情况下都可用csv文件存储。从section 5中我们就可以指导用rostopic echo即可打印topic中的数据。
$ rostopic echo -b <BAGFILE> -p <TOPIC> > <output>.csv # <BAGFILE>是bag文件,<TOPIC>为数据所在的topic