一、环境感知
通过融合激光雷达(Lidar)、相机(camera)、毫米波雷达(millimeter wave Radar)等多种传感器的数据获取周围环境的大量信息(包括:障碍物的位置、速度及可能的行为,可行驶的区域,交通规则等)
对图像、点云数据场景中要素的检测和追踪;
1、激光雷达(Lidar)产生点云数据,点云数据构建点云图
激光点云数据的处理通常分两类操作:分割和分类。分割是为了将点云图中离散的点聚类成若干个整体,而分类则是区分出这些整体属于哪一个类别(比如说行人,车辆以及障碍物)。
2、分割算法可以被分类如下几类:
基于边的方法,例如梯度过滤等
基于区域的方法,这类方法使用区域特征对邻近点进行聚类,聚类的依据是使用一些指定的标准(如欧几里得距离,表面法线等),这类方法通常是现在点云中选取若干种子点(seed points),然后使用指定的标准从这些种子点出发对邻近点进行聚类。
参数方法,这类方法使用预先定义的模型去拟合点云,常见的方法包括随机样本一致性方法(Random Sample Consensus,RANSAC )和霍夫变换(Hough Transform,HT).
基于属性的方法,首先计算每个点的属性,然后对属性相关联的点进行聚类的方法;
基于图的方法
基于机器学习的方法
3、分类算法
在完成了点云的目标分割以后,分割出来的目标需要被正确的分类,在这个环节,一般使用机器学习中的分类算法,如支持向量机(Support Vector Machine,SVM)、决策树、K均值(K-means)对聚类的特征进行分类,最近几年由于深度学习的发展,业界开始使用特别设计的卷积神经网络(Convolutional Neural Network,CNN)对三维的点云聚类进行分类,然而,不论是提取特征-SVM的方法还是原始点云-CNN的方法,由于激光雷达点云本身解析度低的原因,对于反射点稀疏的目标(比如说行人),基于点云的分类并不可靠,所以在实践中,我们往往融合激光雷达和相机传感器,利用相机的高分辨率来对目标进行分类,利用Lidar的可靠性对障碍物检测和测距,融合两者的优点完成环境感知。
4、引申出计算机视觉的三大类:图像分割、图像分类、目标检测与识别、
目标检测与识别:
车道线检测:基于传统计算机视觉的车道线检测、基于深度神经网络LaneNet的车道线检测
车辆实时检测:基于深度学习LeNet、YoLo
图像分割:
地面--非地面分割:PCL库
图像分类:
二、定位
多传感器融合技术
1、基于电子信号定位:GNSS
2、航迹推算:IMU
3、环境特征匹配:LiDAR、Radar、Camera
地图辅助类定位算法是另一类广泛使用的无人车定位算法,同步定位与地图构建(Simultaneous Localization And Mapping,SLAM)是这类算法的代表,SLAM的目标即构建地图的同时使用该地图进行定位,SLAM通过利用已经观测到的环境特征确定当前车辆的位置以及当前观测特征的位置,这是一个利用以往的先验和当前的观测来估计当前位置的过程,实践上我们通常使用贝叶斯滤波器(Bayesian filter)来完成,具体来说包括卡尔曼滤波(Kalman Filter),扩展卡尔曼滤波(Extended Kalman Filter)以及粒子滤波(Particle Filter)。
SLAM在特定场景下的低速自动驾驶定位的应用已有较多现实的实例,但此类特殊场景的应用并不是在定位的同时实时建图,而是事先使用传感器如激光雷达、视觉摄像头等对运行环境区域进行SLAM地图的构建,然后在构建好的SLAM地图的基础上实现定位。在有一部分点云地图之后,将一些“语义”元素(如车道线的标注、交通信号标志标线、红绿灯位置、当前路段的交通规则等)添加到地图中,形成“高精度地图”。在实际定位时使用3D激光雷达的扫描数据和“高精度地图”进行点云匹配以确定无人车在地图中的具体位置,该类方法统称为扫描匹配方法,其中最常见:迭代最近点(Iterative Closest Point ,ICP),该方法基于当前扫描和目标扫描的距离度量来完成点云配准;正态分布变换(Normal Distributions Transform,NDT),基于点云特征直方图来实现配准。
GNSS定位、激光点云定位、视觉定位、惯性导航
三、国内外无人驾驶科技公司
国外:
1、Waymo:Google 无人驾驶项目独立出来的新的子公司
硬件层面,Waymo 自行研发了包含激光雷达、毫米波雷达、超声波传感器和摄像头在内的一整套传感器解决方案。同时,使用Google 的专用处理器 TPU进行算法的训练,极大提升训练效率。
软件层面,Waymo 无人驾驶汽车已经可以通过AI技术预判潜在的行人横穿马路或闯红灯行为,从而规避各种意外情况的发生。
2、特斯拉Autopilot
3、苹果无人驾驶汽车项目“Project Titan”
4、博世(汽车厂商供应链)
5、uber无人驾驶
6、日本的ZMP
7、图森未来(TuSimple)
全球第一家自动驾驶卡车的独角兽。
8、通用汽车子公司Cruise
9、Aurora
10、Mobileye
Mobileye,an Intel Company,是计算机视觉发展和机器学习,数据分析,定位和地图科技应用于高级驾驶辅助系统和自动驾驶解决方案的全球领导者。我们的技术使乘客在路上更安全,减少交通事故的风险,挽救生命,并有可能通过实现自动驾驶来彻底改变驾驶体验.
公司成立于1999年,总部仍位于耶路撒冷,大部分均为研发人员。目前为止,Mobileye全球员工约660人,其中约470人属于研发人员(截止2016年底统计数量)。
现如今,Mobileye 基于单目摄像头图像处理的软件,可以支持绝大多数的安全和舒适要求的ADAS 功能。Mobileye技术旨在满足严苛的汽车安全等级质量要求和符合全球安全法标准。该技术已于25家全球汽车制造商合作,代表客户宝马,通用和沃尔沃等。
Mobileye专有的芯片产品 EyeQ® 是一款嵌入在利用图像处理的智能芯片,可以实现高级驾驶辅助的技术,如:对于车辆及行人的紧急制动、车道保持、自适应巡航、交通标志识别等等。
迄今为止,超过3200万的车辆已经装配了 Mobileye 的高级驾驶辅助技术。
11、lift
12、AutoX
13、安波福
14、德尔福(汽车厂商供应链)
国内:
1、百度Apollo无人驾驶
2、滴滴自动驾驶
拥有高精地图、感知、行为预测、规划与控制、基础设施与仿真、数据标注、问题诊断、车辆改装、云控与车联网、车路协同、信息安全等多个专业团队。
关键技术:
3、慧眼科技
核心技术:立体视觉和图像处理
立体视觉可以同时提供二维(图像)、三维(距离)信息。
4、苏州智加科技
5、追觅科技
6、畅加风行
7、禾多科技
创始人倪凯,,最早百度无人车团队成员。
8、智加科技(北京智加智行科技)
9、星骥科技
10、魔门塔科技(北京初速度科技有限公司)
11、金旅星辰无人驾驶客车
12、极目智能(ADAS驾驶辅助解决方案商)
13、地平线无人驾驶
14、保隆科技
15、Pony.ai
Pony.ai 致力于打造安全、可靠和经济的无人驾驶,从而全面改变人们的日常出行方式。
16、飞步科技
17、领骏科技
创始人杨文利,最早百度无人车团队成员。
18、驭势科技
创始人吴甘沙
19、酷哇机器人
20、希迪智驾
长沙
21、智华汽车电子
22、宽凳科技
优势:高精地图的制作,成熟的处理系统。
23、新石器
新石器是无人驾驶物流车的先行者。
24、智行者
25、北京艾上智能科技
北京艾上智能科技有限公司(Aimo.ai)是一家由人工智能驱动、以无人驾驶技术为核心的智能出行公司。公司致力于利用人工智能的深度学习技术来研发实时环境感知、高精度地图以及自动驾驶决策算法,主要产品包括不同级别的自动驾驶解决方案以及相应的大数据服务。
26、三一集团无人驾驶技术中心
27、北京奥特贝睿科技有限公司(Autobrain)
28、北京踏歌智行科技有限公司
29、苏州索亚机器人技术有限公司
30、上海仙途智能科技有限公司(autowise.ai)
31、深圳一清创新科技有限公司
32、上海奔悦人工智能科技有限公司
33、纵目科技
出色的即时定位建图技术:针对环视相机系统构建SLAM,具备更大范围的环境感知角度以及更高的鲁棒性;多传感器融合,更高的精度输出、更低的传感器成本,更利于大规模量产。
领先的机器视觉算法:360°环视系统
34、骥智智能
35、
Roadstar.ai、Minieye、中科慧眼、图森、Momenta、英倍汽车智能、景驰科技、地平线机器人、纵目科技、骥智智能、环宇智行、YINCAA鹰瞰、驭势科技、易航智能、FMC、蔚来汽车 、饮冰科技、云天励飞、禾赛科技、伟景智能、智行者、小鹏汽车、极目智能、清智科技、智驾科技、西井科技
四、汽车企业无人驾驶
目前,国内的BAT、华为等科技巨头也正积极布局无人驾驶汽车,产业格局不尽相同。而国内自主品牌车企也已展开无人驾驶领域的探索。目前已有多家涉足该领域,一汽、上汽、长城、北汽、长安5家车企已展示了配备初级阶段辅助驾驶、低速自动驾驶等技术的测试样车。
国内自主品牌无人驾驶技术研发进展
美国无人驾驶DARPA挑战赛
中国智能车未来挑战赛