人类从外界获得的信息约75%来自视觉系统，而在驾驶行为中尤为突出，驾驶员驾驶需要的信息90%来自视觉。藉此，在自动驾驶的感知系统中，视觉感知成为了重要的一环。

相比于超声波雷达、毫米波雷达、激光雷达等传感器，摄像头诞生时日更久，但基于摄像头的感知技术，兴起并没有多年。

摄像头感知技术

CV（Compute Vision）计算机视觉或称机器视觉，是一门通过图像获取所需要信息的学科，在实际的应用中，会通过硬件的摄像头，获取图片或者视频信息，中间需要经过内部的ISP、DSP处理，以得到更清晰的图像，然后利用深度学习的算法，对获得的图片信息进行分析、处理，最终得到现实世界通过图像映射而来的数字或符号信息，以便于机器理解现实世界。

在这个过程中，涉及到的最核心技术，就是对图像的分析、处理，工程应用中，视觉芯片担当了处理的核心任务。

得益于CV在识别、运动分析、场景重建、图像恢复的能力，其广泛应用于安防、无人机、自动驾驶等领域。

而在自动驾驶中，CV不仅可以识别障碍物（行人、车辆等）、道路情况，还可用于构建地图。相比于传统消费领域，汽车的使用环境更为复杂严苛，因此CV在自动驾驶领域的应用才刚起步。CV芯片作为整个视觉感知技术中最关键的一环，目前也还处在初期。

CV&自动驾驶 

在自动驾驶中应用CV技术，CV技术必须具备实时性、鲁棒性、实用性这三个特点。

实时性要求CV系统的数据处理必须与车辆的高速行驶同步进行；

鲁棒性是要求智能车辆对不同的道路环境如高速公路、市内公路、普通公路等，复杂的路面环境如路面的宽度、颜色、纹理、弯道、坡度、坑洼、障碍与车流等，各种天气晴、阴、雨、雪、雾等均具有良好的适应性；

实用性指智能车辆能够为普通用户所接受。

目前，CV主要用于路径的识别与跟踪。与其它传感器相比，CV具有检测信息量丰富、无接触测量和能实现道路环境三维建模等优点，但数据处理量极大，存在系统实时性和稳定性问题，要靠开发高性能的计算机硬件，研究新算法来解决。

随着计算机技术和图像处理技术的飞速发展，三维重建道路环境为车辆高速智能驾驶提供强大的信息，在不远的将来具有现实可行性。

CV的道路识别基本原理为，公路路面的环境（白色路标、边缘、路面颜色、坑洼、障碍物等）的CCD图像灰度值和图像纹理、光流有差异。

根据这种差异，经图像处理后可以获得需要的路径图像信息，如方位偏差、侧向偏差、车辆在道路中的位置等信息。将这些信息与车辆的动力学方程相结合，可构成车辆控制系统数学模型。

深度学习在CV中应用广泛，主要是因为深度学习算法的通用性很强，比如faster RCNN在人脸、行人、一般物体检测任务上都可以取得非常好的效果；深度学习获得的特征(feature)有很强的迁移能力，比如在ImageNet（物体为主）上学习到的特征在场景分类任务上也能取得非常好的效果；

深度学习计算主要是卷积和矩阵乘，针对这种计算优化，所有深度学习算法都可以提升性能，因此工程开发、优化、维护成本低。

CV在自动驾驶中使用，必须具备可靠、低功耗、超强算力等特点，因此基于CV的自动驾驶专用芯片也就应用而生。

CV芯片的研发制造，除却工艺难度，最大的难度便在于芯片的设计，算法的调教。拥有芯片设计能力的公司并不多，大部分公司都是基于一些成熟的IP核进行研发。

业内人士表示，基于外部Ip核开发，是一种普遍的做法，但在调校算法以及芯片的性能过程中，由于不具有自下而上的能力，很难将芯片的性能发挥到极致。如此一来，就会在各个性能指标上存在差距，比如功耗，算力等。

CV芯片厂商之国际力量

针对自动驾驶领域的视觉芯片的公司，全球范围内有ADI、NXP、TI、Mobileye/ST、Movidius、NEXTCHIP 、Ambarella、Inuitive等公司。

ADI（Analog Devices, Inc.）是数字信号处理芯片(DSP)厂商，其发布的Blackfin处理器（BF60X系列）专门针对ADAS，具有车道偏离警告、交通信号识别、智能前灯控制、物体检测/分类、行人检测等功能。

低端系统基于BF592，实现LDW功能；中端系统基于 BF53x/BF54x/BF561，实现LDW（车辆偏离预警系统）/HBLB/TSR（Traffic SignRecognition道路交通标志识别系统）等功能；高端系统基于BF60x，实现LDW/HBLB（智能远光灯控制）/TSR/FCW（前方碰撞预警系统）/PD（车辆探测）等功能。集成的视觉预处理器能够显著减轻处理器的负担，从而降低对处理器的性能要求。

恩智浦S32V234是NXP的S32V系列产品中2015年推出的ADAS处理芯片，在BlueBox平台上负责视觉数据处理、多传感器融合数据处理以及机器学习。

该款芯片拥有CPU(4颗ARM CortexA53和1颗M4)、3D GPU(GC3000)和视觉加速单元(2颗APEX-2vision accelerator)，能同时支持4路摄像头，GPU能实时3D建模，计算能力为50GFLOPs。S32V234在设计时加入了诸如ECC（错误检查与纠正），FCCU（故障收集与控制单元），M/L BIST（内存/逻辑内置自测）等多种安全机制，能够满足ISO26262 ASIL B~C的需求。

德州仪器（TI）的TDA SoC系列，包括TDA2x、TDA3x、TDA2Eco，其中TDA3x系列可支持车线维持辅助、自适应巡航控制、交通标志识别、行人与物体检测、前方防碰撞预警和倒车防碰撞预警等多种ADAS算法。

这些算法对于前置摄像头、全车环视、融合、雷达与智能后置摄像头等众多ADAS应用的有效使用至关重要。此外，TDA3x处理器系列还能帮助客户开发针对行人和车辆、前方碰撞预警及车线维持辅助的自主紧急制动（AEB）等符合NCAP程序的ADAS应用。

Mobileye虽然不是芯片制造商，但其同意法半导体（ST）合作，生产了知名的EyeQ系列芯片，用于自动驾驶。

其最先进的EyeQ5装备了8枚多线程CPU内核，搭载18枚Mobileye的下一代视觉处理器。相比而言，EyeQ4作为上一代视觉SoC芯片，只配置了4个CPU内核和6个矢量微码处理器（Vector Microcode Processor，俗称VMP）。EyeQ5最多支持20个外部传感器（摄像头、雷达或激光雷达），而EyeQ4最多只能处理8个传感器的数据信息。

NEXTCHIP（韩）是一个以图像处理技术为主的公司，产品包括视频监控、DVR、SOC、自动驾驶系统中的核心芯片，均是以图形处理、传输为主的半导体芯片厂家。

公司涉及CV领域芯片是在自动驾驶系统的应用中，主打产品APACHE4是瞄准下一代的ADAS体系的SOC芯片。APACHE4加入了专用检测引擎，支持行人检测、车辆检测、车道检测和移动物体检测四种监测类型。嵌入其中的CEVA-XM4图像和视觉平台可让APACHE4的客户使用高阶软件编程来开发差异化的ADAS应用。

安霸则一直是高清视频业界的技术领导者，主要提供低功耗、高清视频压缩与图像处理的解决方案，应用领域涵盖安防、无人机、车机等。

2015年安霸以3000万美元的价格收购了意大利初创自动驾驶公司VisLab，开始发力自动驾驶领域。

2017年到现在，安霸相继发布了针对ADAS的CV1和CV2 系列芯片，CV1和CV2都在同一芯片上提供单目和立体视觉处理，CV1能够对分辨率高达4K的视频进行计算机视觉处理，CV2的深度神经网络性能是CV1的20倍。

Inuitive是一家先进的3D计算机视觉和图像处理器设计厂家，利用CEVA-XM4智慧视觉DSP的授权许可，运行复杂的即时深度感测、特征跟踪、目标识别、深度学习和其它以各种行动设备为目标的视觉相关之演算法。

CEVA图像和视觉DSP满足最复杂计算摄影和电脑视觉应用对极端处理的需求，比如视频分析、扩增实境和先进驾驶辅助系统(ADAS)。

Inuitive视觉处理器NU3000以第三代的CEVA-MM3101图像和视觉DSP来提供立体视觉功能，现在是Google Project Tango生态系统中的一部分，开发人员能够利用它来开发需要即时深度产生、映射、定位、导航和其它复杂信号处理演算法的应用。

国际知名汽车电子IC厂商，都纷纷发布了针对自动驾驶的CV芯片，但主要的应用领域还是在较低等级的ADAS。

业内人士表示，芯片厂商在推出一款芯片时，特别注重市场和时机，因为每一款芯片的研发都需要投入上千万美金，成本的回收基本要依靠KK级别的出货量。

如果时机未到，市场还未成熟，即使芯片性能、品质都能达到要求，但不能大规模销售，仍会影响公司的计划，甚至拖垮公司。

因此面对自动驾驶的浪潮，大部分传统车载芯片巨头，都还只是谨慎的在推ADAS级别的芯片，内部都在积累更高级别的技术，甚至在算力上一定程度可以满足，但并不会盲目推出更高级别的芯片。

尚处早期的自动驾驶CV芯片市场

国内近年来也涌现出了不少初创公司推出了CV芯片，比如地平线、深鉴科技、寒武纪、西井科技。

地平线在2017年发布了后装的征程1.0，征程能够以1.5W的功耗，实现1Tflops的算力，每秒处理30帧4K视频，对图像中超过200个物体进行识别，能够实现FCW/ LDW/ JACC等高级别辅助驾驶功能，满足L2的计算需求。

计划中的征程2.0将会支持4-6路摄像头的同时接入；支持车辆、行人、车道线和可行驶区域的检测；支持交通指示标志，包括交通牌、路标、地面标志、交通文字和符号的检测和识别；支持一般障碍物检测、地面缺陷检测；征程3.0将会支持最多8路摄像头的同时接入和多传感器融合。 

寒武纪在2017年发布了面向智能驾驶领域的IP核寒武纪1M，CEO陈天石介绍，它的性能将达到寒武纪1A的10倍以上，高度集成，具有更高的性能功耗比，目标是让中国的汽车全部都用上国产智能处理器。

国产CV芯片目前的各项指标还只停留在要求较低的后装水平，各个公司也希望在未来几年能够研发出符合车规要求的芯片。

但从后装到前装，芯片所要符合的不仅是车规的要求，还要经受OEM对公司没有任何大规模前装量产经验的质疑。

业内人士透露，目前国内的OEM已经在积极布局下一代车型，基于视觉的ADAS功能也或多或少的被列入了产品规划中。

对于CV方案的选型，OEM更倾向于一些具有量产经验的厂商，算力、功耗以及价格都在考虑范围内。OEM并不会因为要新增ADAS功能而盲目上CV芯片，如果原有的传统芯片可以满足相应功能的算力需求，那么OEM也会倾向于沿用上一代产品。

要做符合车规等级的CV芯片，并不容易，即使是原来具备传统车载芯片的厂商也一样。CV芯片市场目前还处在早期，传统领域的巨头也尚在摸索推广阶段，初创公司要想直接进入，难度不小。

除此以外，同等性能下的芯片功耗、价格将会成为各个厂商竞争的关键。