摄像头和雷达的融合是很多做ADAS当前所关注的关键问题之一。因为单纯摄像头和雷达都无法解决测距问题。不仅在测距，今后可能所应用到的高精度地图也都是需要使用摄像头和雷达的融合才能够实现。

当前寻求到最优的方案是实现摄像头和雷达的融合。摄像头测距的准确性较低，雷达测距的准确性较高，然而没有点源的身份信息。雷达和摄像头的特点对比如下。

表1. radar和camera融合性能对比

摄像头在雨雾、黑暗的环境下就会“失明”，强光和弱光环境它也不能正常工作。与光学传感器相比，雷达在分辨率上明显较差，不过它在测距测速功能和恶劣天气下明显更胜一筹。

虽然光学传感器在恶劣天气下能力受限，但它依然能识别色彩（交通灯和路标），而且在分辨率上依然有优势，可以说每种传感器都有自己的优势也有自己的软肋。想做到完美的传感器融合，就要接受不同传感器的输入，并利用综合信息更准确的感知周边环境，其得出的结果比不同传感器各自为战要好得多。

融合算法中有特征融合和数据融合两种融合。如下图所示：

图1. 特征融合（左）与数据融合（右）

如图1所示，左侧是特征融合，右侧是数据级融合。

特征融合分别在自己的模块内完成目标的分类和跟踪进行融合，模块间分别通过CAN总线进行数据交互。数据级融合在同一模块内进行融合，无需数据交换。数据及融合的等级较高，但是需要获得传感器的底层参数，当前无法获得。因此当前采取的是特征融合。

输入：KITTI数据集--双目视觉

结果：KITTI双目--目前冠军算法PSMNet测试结果

Error  图片来源：知乎布莱克

关键技术参数和性能指标

当前各大算法公司给出的测距性能普遍在50米精度在5%，100米精度在10%。根据调研，算法公司通常给出的是一个平均的误差。

实际远距离测距的误差可能会比较大。近距离的误差可能相对比较好一些。远距离的误差一直是算法中的难点，因此分段设置测距精度是合理的。

结合毫米波的融合，测距的精度目标是能够实现如下：

1）50米以内精度2%~3%。

2）100米以内5%~8%。

3）给出TTC时间和警告等级。

摄像头与毫米波雷达（Radar）融合

Input：

（1）图像视频分辨率（整型int）

（2）图像视频格式 （RGB，YUV，MP4等）

（3）毫米波雷达点云信息（点云坐标位置x,y，浮点型float）

（4）摄像头标定参数（中心位置（x,y）和5个畸变

系数（2径向，2切向，1棱向），浮点型float）

（5）摄像头初始化参数（摄像头初始位置和三个坐标方向

的旋转角度，车辆宽度高度车速等等，浮点型float）

Output：

（1）利用kalman滤波融合后的摄像头与毫米波雷达

点云信息（点云坐标位置x,y，浮点型float）

（2）融合后的image/video （RGB，YUV，MP4等）

（3）目标物与车辆的距离（浮点型float）

（4）目标物的识别 （整型int）

1. 功能定义

时间戳的融合

摄像头的时间戳和雷达的世家戳是不一致的。先要实现时间戳上的融合。

空间上的融合