利用ROS工具从bag文件中提取图片

时间:2024-01-03 13:02:14

bag文件是ROS常用的数据存储格式,因此要从bag文件中提取数据就需要了解一点ROS的背景知识。

1. 什么是ROS及其优势

ROS全称Robot Operating System,是BSD-licensed系统用于从PC上控制机器人组件。ROS系统由一系列的独立node组成,彼此间通过publish/subscribe消息传递模式相互沟通。比如某个传感器驱动由某个node执行,将该传感器数据用message stream的形式publish,而这些message则可以在数据处理或者日志节点被使用。

因为ROS的node不需要一定在相同的系统或构架上,也就是说不同的node可以部署到不同平台的机器上(比如传感器publish数据,PC处理数据,Android智能机执行操作),故ROS非常灵活可以适应各种需求。还有一个原因就是ROS是开源的,可以免费使用和修改。

2. ROS的结构

下图举了一个ROS系统的结构:

利用ROS工具从bag文件中提取图片

ROS从ROS master开始,任何node都需要在master进行注册,从而方便node之间进行消息传递。这里,camera node与相机进行交流,publish名为/image_data的主题,其他节点都subscribe这个主题用于获取消息;而机器人上面的计算机有一个processing node对subscribe的图像数据进行处理;而在另一台PC上,有一个image display node对subscribe的数据进行展示。

3. ROS工具的安装

目前ros工具提供c++和python两种API,而正式支持的操作系统只有Ubuntu和Debian(linux大发好,退win保平安)。

1). 设置sources.list

允许本机接受来自packages.ros.org的包,ros kenetic值支持Ubuntu 15.10和16.04以及Debian 8。

$ sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list'

2). 设置key

$ sudo apt-key adv --keyserver hkp://ha.pool.sks-keyservers.net:80 --recv-key 421C365BD9FF1F717815A3895523BAEEB01FA116

3). 安装

$ sudo apt-get update
# 由于ros有许多库和工具可供选择,一般默认选这个版本:Desktop-Full Install: ROS, rqt, rviz, robot-generic libraries, 2D/3D simulators, navigation and 2D/3D perception
$ sudo apt-get install ros-kinetic-desktop-full

4).初始化rosdep

在使用ros之前需要初始化rosdep,rosdep可以使安装编译源所依赖的包变得很方便,也是一些ROS运行一些核心组件所需的。

$ sudo rosdep init
$ rosdep update

5).环境设置

将ROS环境变量添加到环境变量中

# 将命令添加到~/.bashrc文件中可以使每次启动新的session都加载ros变量,非常方便
$ echo "source /opt/ros/kinetic/setup.bash" >> ~/.bashrc
$ source ~/.bashrc

6).安装rosinstall

rosinstall 是在ROS中经常用到的命令行工具。

$ sudo apt-get install python-rosinstall

7).测试安装

在终端中输入rosbag/rostopic --help等命令看是否报错

4. ROS工具使用实例

1). 启动ROS master

只有在启动master之后才能开始ros的其他操作,而由于roscore一直运行,所以执行其他ros命令时需要在另一个终端中进行。

$ roscore

2). rostopic命令

a. 查看当前master下的topic

$ rostopic list # 列出topic名称,具体可用其他rostopic命令进行查看等操作。

PS:在开始的时候都会有以下两个topic:/rosoutrosout_agg。前者用于报道系统的debug消息后者用于整合debug消息。

b. 发布新的topic

$ rostopic pub /hello std_msgs/String “Hello Robot" # /hello 是新的topic名称;后者为topic的类型;最后引号内的"Hello Robot"是具体的消息数据。

c. 输出topic中的数据

$ rostopic echo /hello

d. 查看topic中的数据

$ rostopic info /hello

3).查看正在发布消息的node

$ rosnode list

4).查看node的具体信息

$ rosnode info /rostopic_.... # ...为数字

利用ROS工具从bag文件中提取图片

5. 用ros工具从bag文件中提取图片

1). 首先需要安装一些图片处理依赖的包: MJPEG, ffmpeg

$ sudo apt-get install mjepgtools
$ sudo apt-get install ffmpeg

2). 新建文件夹用于储存提取后的图片,并执行:

$ rosrun image_view extract_images _sec_per_frame:=0.01 image:=<IMAGETOPICINBAGFILE> # <IMAGETOPICINBAGFILE>为bag文件中储存图片的topic

PS:如果输出的图片数量与rosbag info命令查询得到的数量不符,可以减少_sec_per_frame参数的值。

3). 打开另一个终端,导向岗新建的文件夹,然后执行:

$ rosbag play <BAGFILE> # <BAGFILE>为bag文件的路径

6. 将提取的图片转换成视频

PS:这部分并不涉及ros的操作,可以跳过。

这无非就是将图片压成视频,可以用FFMPEG包或者Mencoder包来执行。

1). 首先决定文件的fps。用rosscore info来确认视频的图片数,然后除以持续的时间即可。

# 用mencoder压制
$ mencoder -nosound mf://*.jpg -mf w=<WIDTH>:h=<HEIGHT>:type=jpg:fps=<FPS> \ -ovc lavc -lavcopts vcodec=mpeg4:vbitrate=<BITRATE>\ :mbd=2:keyint=132:v4mv:vqmin=3:lumi_mask=0.07:dark_mask=0.2:mpeg_quant:scplx_mask=0.1:tcplx_mask=0.1:naq -o\ <OUTPUT>.avi # <WIDTH>为图片的宽度,<HEIGHT>为图片的长度。<FPS>就是每秒所需的图片张数。<BITRATE>决定视频的质量,越大越高,一般1800KBits以上就可以。
# 用FFMPEG压制
$ ffmpeg -r <FPS> -b <BITRATE> -i frame%04d.jpg <OUTPUT>.avi

7. 提取bag文件中的数据并保存为csv格式

对于非图片数据,大部分情况下都可用csv文件存储。从section 5中我们就可以指导用rostopic echo即可打印topic中的数据。

$ rostopic echo -b <BAGFILE> -p <TOPIC> > <output>.csv # <BAGFILE>是bag文件,<TOPIC>为数据所在的topic

参考:

  1. http://wiki.ros.org/ROS/Tutorials
  2. https://coderwall.com/p/qewf6g/how-to-extract-images-from-a-rosbag-file-and-convert-them-to-video
  3. http://www.clearpathrobotics.com/guides/ros/Practical Example.html
  4. http://answers.ros.org/question/9102/how-to-extract-data-from-bag/