SLAM+语音机器人DIY系列:(六)SLAM建图与自主避障导航——1.在机器人上使用传感器

时间:2024-01-24 11:21:41

 温馨提示

本篇文章已经收录在我最新出版的书籍《机器人SLAM导航核心技术与实战》,感兴趣的读者可以购买纸质书籍来进行更加深入和系统性的学习,购买链接如下:

摘要                                            

通过前面的基础学习,本章进入最为激动的机器人自主导航的学习。在前面的学习铺垫后,终于迎来了最大乐趣的时刻,就是赋予我们的miiboo机器人能*行走的生命。本章将围绕机器人SLAM建图、导航避障、巡航、监控等内容展开。本章内容:

1.在机器人上使用传感器

2.google-cartographer机器人SLAM建图

3.ros-navigation机器人自主避障导航

4.多目标点导航及任务调度

5.机器人巡航与现场监控



1.在机器人上使用传感器            

SLAM建图需要用到底盘、激光雷达和IMU,所以这里详细介绍如何在机器人上使用这些传感器。要使用这些传感器也很简单,就是在机器人上开启相应传感器的ROS驱动节点,在设置合适的可配参数就行了。

需要注意的是,底盘激光雷达IMU这三个传感器都使用串口与树莓派通信,为了防止每次开机这三个设备的串口号发生变动,需要将串口号进行绑定与重映射,操作方法在前面已经介绍过了,如果还没有绑定直接前往前面相关内容参考

这里将建立一个叫catkin_wsROS工作空间,专门用于存放机器人传感器相关的ROS驱动功能包。关于创建ROS工作空间的操作,请参考前面相应部分内容,这里就不做讲解。

1.1.使用底盘                

在机器人上只需要使用miiboo这个驱动包就可以驱动底盘了。将miiboo这个驱动包拷贝到~/catkin_ws/src/中,编译后就可以使用了。miiboo驱动包文件结构,如图1miiboo驱动包中含有两个ROS功能包miiboo_bringupmiiboo_description,驱动miiboo底盘、底盘PID整定、里程计标定这些功能包含在miiboo_bringup中,miiboo底盘urdf模型包含在miiboo_description中。

(图1miiboo驱动包文件结构

底盘控制可配参数:

关于底盘控制可配参数都放在miiboo_bringup/launch/minimal.launch中,如图2

参数com_port是底盘控制的串口号,由于前面已经做了绑定,所以直接填入绑定好的名称/dev/miiboo就行了;

参数speed_ratio是里程计走直线标定值,这个值通过标定得到。

参数wheel_distance是里程计转角标定值,这个值通过标定得到。

其余参数一般不需要修改,如有需要可以结合阅读源码来了解参数含有和做相应修改。

(图2)底盘控制可配参数

驱动miiboo底盘:

其实很简单,一条命令启动miiboo底盘控制。

roslaunch miiboo_bringup minimal.launch

底盘PID整定:

我们的miiboo机器人底盘的stm32控制板中已经内置了整定好的PID参数,如果选用我们提供的控制板和电机,一般情况下是不需要整定PID的。

对于想体验一下PID参数整定过程或将我们的miiboo机器人底盘的stm32控制板应用到其他地方的朋友,这里给出了整定PID的整个操作过程和思路,方便大家学习和更深层次的研究。这里主要讲解PID整定的操作,关于原理性的东西可以参考前面相关内容进行了解。

由于底盘PID整定是非必须的功能,所以没有对底盘PID整定的串口(DEBUG-uart1)做绑定,需要先手动插入该串口到树莓派3,然后手动查看该串口的设备号,并修改该设备号的可读写权限。然后将该设备号填入miiboo_bringup/launch/pid_set.launch中的com_port参数中。然后,需要启动底盘控制节点、底盘调试节点、键盘控制节点。键盘控制节点teleop_twist_keyboard需要通过apt-get命令来安装,rqt_plotROS提供的绘图工具。

#打开终端,启动底盘控制节点
roslaunch miiboo_bringup minimal.launch 

#再打开一个终端,启动底盘调试节点,按提示输入命令
roslaunch miiboo_bringup pid_set.launch

#安装键盘控制工具
sudo apt-get install ros-kinetic-teleop-twist-keyboard

#再打开一个终端,启动键盘控制节点,
source  ~/.bashrc
rosrun teleop_twist_keyboard teleop_twist_keyboard.py

#再打开一个终端,用rqt_plot对底盘速度曲线进行绘制,指定曲线数据来源的topic
rosrun rqt_plot rqt_plot

ROS提供的绘图工具rqt_plot用法很简单,在rqt_plot界面中,在Topic栏输入曲线数据来源,我们这里为左、右轮速度,然后点击旁边的“+”将曲线加入绘制界面,人如图3

(图3)用rqt_plot显示速度曲线

然后,通过在启动teleop_twist_keyboard节点的终端通过I/</J/L四个按键来控制底盘前进/后退/左转/右转控制,并观察速度曲线的变化,根据PID整定规则对PID参数进行整定,在启动 pid_set.launch的终端下按相应提示输入PID参数实现对整定参数的编辑。直到得到一个比较好的速度曲线,就可以结束整定过程了。实时速度曲线显示,如图4

(图4)实时速度曲线显示

里程计标定:

机器人底盘运行的精度是衡量底盘的重要指标。底盘精度受里程计的走直线误差和转角误差影响。因此,需要对里程计的走直线和转角进行标定,尽量减小误差。miiboo机器人底盘的ROS驱动中已经写好了相应的标定程序,跟里程计标定有关的文件主要有:

.../miiboo_bringup/launch/check_linear.launch为里程计走直线标定启动文件

.../miiboo_bringup/launch/check_angular.launch为里程计转角标定启动文件

.../miiboo_bringup/launch/minimal.launch为设置标定参数及底盘控制启动文件

下面是标定步骤过程。

由于标定过程在前面已经讲解过了,请直接前往相应内容参考。

miiboo底盘urdf模型:

urdf模型描述了机器人底盘的形状、传感器之间的安装关系、各个传感器在tf tree中的关系。其实,miiboo底盘urdf模型的主要作用是提供各个传感器在tf tree中的关系,这些关系将在SLAM和导航算法中被使用。

(图5miiboo机器人底盘中各个传感器tf关系

5miiboo机器人底盘中各个传感器tf关系,base_footprint是底盘的运动中心,base_laser_link是激光雷达的中心,imu_linkIMU模块的中心。以base_footprint为原点,建立机器人底盘的坐标系,坐标系为标准右手系,即底盘正前方为x轴、正左方为y轴、正上方为z轴、以x轴起始逆时针方向为theta轴。以base_footprint为父坐标系,建立base_footprint->base_laser_link关系,建立base_footprint->imu_link关系,就实现了各个传感器tf关系的构建,构建的具体实现在miiboo_description/urdf/miiboo.urdf中完成。如图6,为miiboo.urdf的具体内容。

(图6miiboo底盘urdf模型描述文件

要使用这个urdf模型就很简单了,直接一句命令启动。

roslaunch miiboo_description miiboo_description.launch

1.2.使用激光雷达            

在机器人上只需要使用ydlidar这个驱动包就可以驱动ydlidar-x4雷达了。将ydlidar这个驱动包拷贝到~/catkin_ws/src/中,编译后就可以使用了。ydlidar驱动包文件结构,如图7ydlidar驱动包中的其他文件我们不需要关心,这些都是由雷达厂商提供的标准驱动,只需要设置我们自己建立的ydlidar/launch/my_x4.launch文件,这个用于启动雷达。

(图7ydlidar驱动包文件结构

激光雷达数据可配参数:

关于激光雷达数据可配参数都放在ydlidar/launch/my_x4.launch中,如图8

参数port激光雷达的串口号,由于前面已经做了绑定,所以直接填入绑定好的名称/dev/lidar就行了;

参数range_minrange_max是设置激光雷达数据的有效值区间。

其余参数一般不需要修改,如有需要可以结合阅读源码来了解参数含有和做相应修改。

(图8)激光雷达数据可配参数

驱动ydlidar-x4激光雷达:

其实很简单,一条命令启动ydlidar-x4激光雷达。

roslaunch ydlidar my_x4.launch

激光雷达数据格式:

激光雷达采用右手坐标系,雷达正前方为x轴、正左方为y轴、正上方为z轴、以x轴起始逆时针方向为theta轴。激光雷达的扫描数据以极坐标的形式表示,雷达正前方是极坐标0度方向、雷达正左方是极坐标90度方向,红色点为扫描到的数据点,如图9所示。

(图9)激光雷达数据格式

激光雷达的数据在ROS中是以sensor_msgs/LaserScan消息类型进行表示,如图10angle_increment表示激光数据点的极坐标递增角度,ranges数组存放实际的极坐标点距离值。

(图10)激光雷达数据sensor_msgs/LaserScan消息类型

1.3.使用IMU                                                  

在机器人上只需要使用miiboo_imu这个驱动包就可以驱动mpu9250模块了。将miiboo_imu这个驱动包拷贝到~/catkin_ws/src/中,编译后就可以使用了。miiboo_imu驱动包文件结构,如图11ydlidar驱动包中的其他文件我们不需要关心,只需要设置ydlidar/launch/my_x4.launch文件,这个用于启动IMU

(图11miiboo_imu驱动包文件结构

IMU数据可配参数:

关于IMU数据可配参数都放在miiboo_imu/launch/imu.launch中,如图12

参数come_portIMU的串口号,由于前面已经做了绑定,所以直接填入绑定好的名称/dev/imu就行了;

其余参数一般不需要修改,如有需要可以结合阅读源码来了解参数含有和做相应修改。

(图12IMU数据可配参数

驱动IMU模块:

其实很简单,一条命令启动IMU模块。

roslaunch miiboo_imu imu.launch

IMU数据格式:

IMU模块采用右手坐标系,IMU模块正前方为x轴、正左方为y轴、正上方为z轴。IMU模块提供3轴加速度、3轴角速度、3轴磁力计、经数据融合后用欧拉角表示的姿态。

IMU数据在ROS中是以sensor_msgs/Imu消息类型进行表示,如图13

(图13IMU数据sensor_msgs/Imu消息类型

1.4.使用摄像头               

miiboo机器人上使用的是USB摄像头,用ROS驱动USB摄像头可以采用以下3中方法。

方法1

使用usb_cam这个ROS包直接驱动

方法2

使用gscam这个ROS包直接驱动

方法3

自制OpenCVcv_bridgeimage_transport驱动ROS

为了方便起见,我采用的是方法1,直接安装usb_cam这个ROS包直接驱动。

usb_cam摄像头驱动安装:

usb_cam下载到~/catkin_ws/src/中,直接编译就行了。

cd  ~/catkin_ws/src/
git clone https://github.com/ros-drivers/usb_cam.git

rosdep install usb_cam
cd  ~/catkin_ws/
catkin_make

摄像头数据可配参数:

关于摄像头数据可配参数都放在usb_cam/launch/usb_cam.launch中,如图14

参数video_device是摄像头的设备号,由于直插了一个USB摄像头,所以直接填入名称/dev/video0就行了;

其余参数一般不需要修改,如有需要可以结合阅读源码来了解参数含有和做相应修改。

(图14)摄像头数据可配参数

驱动USB摄像头:

其实很简单,一条命令启动USB摄像头。

roslaunch usb_cam usb_cam.launch

摄像头远程显示:

摄像头数据远程显示的方法有两种,方法一是在PCrviz中订阅摄像头发布的图像topic,方法二是用Android手机上miiboo机器人APP直接显示。

先说方法一,在PC端打开rviz,在rviz中添加需要显示的Topic,这样就可以看到图像了。如图1516

(图15)在rviz中添加需要显示的图像Topic

(图16)在rviz中显示图像Topic

方法二,就很简单了,只要Android手机上miiboo机器人APP连接到机器人端成功后,就能自动显示图像了。如图17

(图17)在Android手机的miiboo机器人APP中显示图像Topic

1.5.局域网内广播机器人自己的IP                 

这个很简单,由broadcast_ip这个功能包实现,我已经写好放入~/catkin_ws/src/并编译了。只需要一句命令启动就行了。

roslaunch broadcast_ip broadcast_udp.launch

后记                                                      

------SLAM+语音机器人DIY系列【目录】快速导览------

第1章:Linux基础

1.Linux简介

2.安装Linux发行版ubuntu系统

3.Linux命令行基础操作

第2章:ROS入门

1.ROS是什么

2.ROS系统整体架构

3.在ubuntu16.04中安装ROS kinetic

4.如何编写ROS的第一个程序hello_world

5.编写简单的消息发布器和订阅器

6.编写简单的service和client

7.理解tf的原理

8.理解roslaunch在大型项目中的作用

9.熟练使用rviz

10.在实际机器人上运行ROS高级功能预览

第3章:感知与大脑

1.ydlidar-x4激光雷达

2.带自校准九轴数据融合IMU惯性传感器

3.轮式里程计与运动控制

4.音响麦克风与摄像头

5.机器人大脑嵌入式主板性能对比

6.做一个能走路和对话的机器人

第4章:差分底盘设计

1.stm32主控硬件设计

2.stm32主控软件设计

3.底盘通信协议

4.底盘ROS驱动开发

5.底盘PID控制参数整定

6.底盘里程计标

第5章:树莓派3开发环境搭建

1.安装系统ubuntu_mate_16.04

2.安装ros-kinetic

3.装机后一些实用软件安装和系统设置

4.PC端与robot端ROS网络通信

5.Android手机端与robot端ROS网络通信

6.树莓派USB与tty串口号绑定

7.开机自启动ROS节点

第6章:SLAM建图与自主避障导航

1.在机器人上使用传感器

2.google-cartographer机器人SLAM建图

3.ros-navigation机器人自主避障导航

4.多目标点导航及任务调度

5.机器人巡航与现场监控

第7章:语音交互与自然语言处理

1.语音交互相关技术

2.机器人语音交互实现

3.自然语言处理云计算引擎

第8章:高阶拓展

1.miiboo机器人安卓手机APP开发

2.centos7下部署Django(nginx+uwsgi+django+python3)

 


 

参考文献

 

[1] 张虎,机器人SLAM导航核心技术与实战[M]. 机械工业出版社,2022.

 

 

 

 

前言
编程基础篇
第1章 ROS入门必备知识
1.1 ROS简介 2
1.1.1 ROS的性能特色 2
1.1.2 ROS的发行版本 3
1.1.3 ROS的学习方法 3
1.2 ROS开发环境的搭建 3
1.2.1 ROS的安装 4
1.2.2 ROS文件的组织方式 4
1.2.3 ROS网络通信配置 5
1.2.4 集成开发工具 5
1.3 ROS系统架构 5
1.3.1 从计算图视角理解ROS架构 6
1.3.2 从文件系统视角理解ROS架构 7
1.3.3 从开源社区视角理解ROS架构 8
1.4 ROS调试工具 8
1.4.1 命令行工具 9
1.4.2 可视化工具 9
1.5 ROS节点通信 10
1.5.1 话题通信方式 12
1.5.2 服务通信方式 15
1.5.3 动作通信方式 19
1.6 ROS的其他重要概念 25
1.7 ROS 2.0展望 28
1.8 本章小结 28
第2章 C++编程范式
2.1 C++工程的组织结构 29
2.1.1 C++工程的一般组织结构 29
2.1.2 C++工程在机器人中的组织结构 29
2.2 C++代码的编译方法 30
2.2.1 使用g++编译代码 31
2.2.2 使用make编译代码 32
2.2.3 使用CMake编译代码 32
2.3 C++编程风格指南 33
2.4 本章小结 34
第3章 OpenCV图像处理
3.1 认识图像数据 35
3.1.1 获取图像数据 35
3.1.2 访问图像数据 36
3.2 图像滤波 37
3.2.1 线性滤波 37
3.2.2 非线性滤波 38
3.2.3 形态学滤波 39
3.3 图像变换 40
3.3.1 射影变换 40
3.3.2 霍夫变换 42
3.3.3 边缘检测 42
3.3.4 直方图均衡 43
3.4 图像特征点提取 44
3.4.1 SIFT特征点 44
3.4.2 SURF特征点 50
3.4.3 ORB特征点 52
3.5 本章小结 54
硬件基础篇
第4章 机器人传感器
4.1 惯性测量单元 56
4.1.1 工作原理 56
4.1.2 原始数据采集 60
4.1.3 参数标定 65
4.1.4 数据滤波 73
4.1.5 姿态融合 75
4.2 激光雷达 91
4.2.1 工作原理 92
4.2.2 性能参数 94
4.2.3 数据处理 96
4.3 相机 100
4.3.1 单目相机 101
4.3.2 双目相机 107
4.3.3 RGB-D相机 109
4.4 带编码器的减速电机 111
4.4.1 电机 111
4.4.2 电机驱动电路 112
4.4.3 电机控制主板 113
4.4.4 轮式里程计 117
4.5 本章小结 118
第5章 机器人主机
5.1 X86与ARM主机对比 119
5.2 ARM主机树莓派3B+ 120
5.2.1 安装Ubuntu MATE 18.04 120
5.2.2 安装ROS melodic 122
5.2.3 装机软件与系统设置 122
5.3 ARM主机RK3399 127
5.4 ARM主机Jetson-tx2 128
5.5 分布式架构主机 129
5.5.1 ROS网络通信 130
5.5.2 机器人程序的远程开发 130
5.6 本章小结 131
第6章 机器人底盘
6.1 底盘运动学模型 132
6.1.1 两轮差速模型 132
6.1.2 四轮差速模型 136
6.1.3 阿克曼模型 140
6.1.4 全向模型 144
6.1.5 其他模型 148
6.2 底盘性能指标 148
6.2.1 载重能力 148
6.2.2 动力性能 148
6.2.3 控制精度 150
6.2.4 里程计精度 150
6.3 典型机器人底盘搭建 151
6.3.1 底盘运动学模型选择 152
6.3.2 传感器选择 152
6.3.3 主机选择 153
6.4 本章小结 155
SLAM篇
第7章 SLAM中的数学基础
7.1 SLAM发展简史 158
7.1.1 数据关联、收敛和一致性 160
7.1.2 SLAM的基本理论 161
7.2 SLAM中的概率理论 163
7.2.1 状态估计问题 164
7.2.2 概率运动模型 166
7.2.3 概率观测模型 171
7.2.4 概率图模型 173
7.3 估计理论 182
7.3.1 估计量的性质 182
7.3.2 估计量的构建 183
7.3.3 各估计量对比 190
7.4 基于贝叶斯网络的状态估计 193
7.4.1 贝叶斯估计 194
7.4.2 参数化实现 196
7.4.3 非参数化实现 202
7.5 基于因子图的状态估计 206
7.5.1 非线性最小二乘估计 206
7.5.2 直接求解方法 206
7.5.3 优化方法 208
7.5.4 各优化方法对比 218
7.5.5 常用优化工具 219
7.6 典型SLAM算法 221
7.7 本章小结 221
第8章 激光SLAM系统
8.1 Gmapping算法 223
8.1.1 原理分析 223
8.1.2 源码解读 228
8.1.3 安装与运行 233
8.2 Cartographer算法 240
8.2.1 原理分析 240
8.2.2 源码解读 247
8.2.3 安装与运行 258
8.3 LOAM算法 266
8.3.1 原理分析 266
8.3.2 源码解读 267
8.3.3 安装与运行 270
8.4 本章小结 270
第9章 视觉SLAM系统
9.1 ORB-SLAM2算法 274
9.1.1 原理分析 274
9.1.2 源码解读 310
9.1.3 安装与运行 319
9.1.4 拓展 327
9.2 LSD-SLAM算法 329
9.2.1 原理分析 329
9.2.2 源码解读 334
9.2.3 安装与运行 337
9.3 SVO算法 338
9.3.1 原理分析 338
9.3.2 源码解读 341
9.4 本章小结 341
第10章 其他SLAM系统
10.1 RTABMAP算法 344
10.1.1 原理分析 344
10.1.2 源码解读 351
10.1.3 安装与运行 357
10.2 VINS算法 362
10.2.1 原理分析 364
10.2.2 源码解读 373
10.2.3 安装与运行 376
10.3 机器学习与SLAM 379
10.3.1 机器学习 379
10.3.2 CNN-SLAM算法 411
10.3.3 DeepVO算法 413
10.4 本章小结 414
自主导航篇
第11章 自主导航中的数学基础
11.1 自主导航 418
11.2 环境感知 420
11.2.1 实时定位 420
11.2.2 环境建模 421
11.2.3 语义理解 422
11.3 路径规划 422
11.3.1 常见的路径规划算法 423
11.3.2 带约束的路径规划算法 430
11.3.3 覆盖的路径规划算法 434
11.4 运动控制 435
11.4.1 基于PID的运动控制 437
11.4.2 基于MPC的运动控制 438
11.4.3 基于强化学习的运动控制 441
11.5 强化学习与自主导航 442
11.5.1 强化学习 443
11.5.2 基于强化学习的自主导航 465
11.6 本章小结 467
第12章 典型自主导航系统
12.1 ros-navigation导航系统 470
12.1.1 原理分析 470
12.1.2 源码解读 475
12.1.3 安装与运行 479
12.1.4 路径规划改进 492
12.1.5 环境探索 496
12.2 riskrrt导航系统 498
12.3 autoware导航系统 499
12.4 导航系统面临的一些挑战 500
12.5 本章小结 500
第13章 机器人SLAM导航综合实战
13.1 运行机器人上的传感器 502
13.1.1 运行底盘的ROS驱动 503
13.1.2 运行激光雷达的ROS驱动 503
13.1.3 运行IMU的ROS驱动 504
13.1.4 运行相机的ROS驱动 504
13.1.5 运行底盘的urdf模型 505
13.1.6 传感器一键启动 506
13.2 运行SLAM建图功能 506
13.2.1 运行激光SLAM建图功能 507
13.2.2 运行视觉SLAM建图功能 508
13.2.3 运行激光与视觉联合建图功能 508
13.3 运行自主导航 509
13.4 基于自主导航的应用 510
13.5 本章小结 511
附录A Linux与SLAM性能优化的探讨
附录B 习题