智能驾驶摄像头
智能驾驶摄像头
1. 汽车摄像头概述
自动驾驶汽车作为汽车未来的重要发展方向，成为汽车零部件产业链的重要增长点。国内外的汽车零部件供应商积极布局自动驾驶传感器领域，在车载摄像头、毫米波雷达和激光雷达三大核心部件，以及产业链上下游的拓展为零部件供应商带来增长机遇。
国内外部分综合实力较强的汽车零部件公司在自动驾驶汽车传感器上进行多产品布局，可以为下游客户提供综合性的自动驾驶解决方案，形成较强的竞争力。这些公司包括国外的博世、大陆集团、法雷奥、海拉、德尔福、富士通天、奥托立夫等公司和国内的德赛西威、华域汽车和保隆科技等公司。
摄像头：国际零部件公司市场份额较高
车载摄像头产业链主要涉及上游材料、中游元件和下游产品三个主要环节。上游材料中光学镜片、滤光片和保护膜等用于制造镜头组，晶圆用于制造 CMOS 芯片和 DSP 信号处理器;在中游镜头组、CMOS 芯片和胶合材料等组装成模组，并和 DSP 信号处理器封装成摄像头产品。在产业链的这一层，上游供应商已经可以向下游整车或一级供应商客户供应完整的摄像头产品。
在车载摄像头产业链中，摄像头和软件算法一起，构成车载摄像头解决方案，应用于自动驾驶汽车中。车载摄像头产业链较长，上下游拥有众多环节，每个环节都涉及国内外众多厂商和公司。
相较于消费电子等所用的摄像头，车规级的摄像头对防震、稳定性、持续聚焦特性、热补偿性、杂光强光抗干扰性等都有较高的要求，因此其模组组装工艺复杂，技术堡垒较高。从全球摄像头供应市场来看，目前国外公司松下、法雷奥、富士通天、大陆、麦格纳等厂商占据较大份额，前五大产商市场份额合计在 59%左右，集中度相对较高。
目前车载摄像头市场份额较大的公司均是全球领先的一级零部件供应商，下游客户基本覆盖了全球主要的整车公司。法雷奥的下游客户包括大众、奔驰、宝马、福特、雷诺、马自达等;大陆集团的客户包括大众、福特、通用、马自达等;富士通天的客户则以丰田为主;麦格纳的客户群体同样广泛，覆盖欧美和日韩的主要车企;日立则以日本车企为主。
2. 摄像头的工作原理
摄像头就如同人的眼镜，计算芯片就如同人的大脑，为了给“大脑”提供可供决策的视觉信息，摄像头需要克服不利环境对摄像头的干扰。
相对于激光雷达加高精地图的方案，计算机视觉方案逻辑上更像人类驾驶过程。
为了保障安全，就必须保证摄像头在各种恶劣环境下，能快速识别车辆、行人和交通标志，都能输出清晰的画面，给现阶段的自动驾驶技术提供足够的环境感知保障。
来自摄像头的二维信息被提取到环境的三维模型中，使用的是“基于多个计算机视觉引擎和深度网络的算法冗余链。
摄像头环境感知基于图像极大丰富的信息以及难以手工建模的特性，深度学习能最大限度的发挥其优势。
物体识别
左边的检测结果告诉我们什么位置大概有一辆车，但其具体位置，车的朝向信息完全没有。
但右边的检测结果，可以相对精确的估算出车的位置、行驶方向等重要信息，与人看到后可以推测的信息差不多。
车辆识别怎么建模，神经网络可以输出这么精确带方向的包围框（Bounding box），这就是深度学习的威力。
可行驶区域（Free Space）检测
深度学习以前的可行驶区域检测，有两种方法：
一是基于双目摄像头立体视觉或者运动恢复结构（Structure from motion）；
二是基于局部特征，马尔科夫场之类的图像分割。
行驶路径识别
深度学习提供了一个行驶路径识别的解决办法。在没有车道线的路况下驾驶的数据来训练神经网络，训练好之后，神经网络在没有车道线的时候也能大概判断未来车可以怎么驾驶。
这一部分原理也是比较清楚的，找一个人驾驶，把整个驾驶的过程摄像头的录像保存下来，把人驾驶的策略车辆的行驶路径也保存下来。用每一帧图片作为输入，车辆未来一段时间（很短的时间）的路径作为输出训练神经网络，神经网络提供的行驶路径基本上符合人类的判断。
这种基于深度学习的物体检测方法是目前效果最好、最主流的方法。它对于传统算法来讲，大大降低了物体检测的漏检率和误检率。
3. 摄像头的优势与劣势
2013年，特斯拉与谷歌的自动驾驶合作宣告破产，马斯克推翻了谷歌搭载激光雷达的自动驾驶解决方案。自此特斯拉开始内部组建自己的Ap团队，以计算机视觉为主的多传感器融合方案。与此同时，谷歌也通过Waymo继续依靠激光雷达，研发直接面向L4的自动驾驶解决方案。
摄像头记录四周的一切
自从实现高级别自动驾驶的两种技术路线开始形成，而围绕“高级别自动驾驶到底需不需要激光雷达？特斯拉和谷歌Waymo到底谁才是自动驾驶的行业第一”的争议声，也从未停息。
就目前来看，谷歌 Waymo、通用 Cruise、百度阿波罗、Pony.ai等自动驾驶企业都采用了激光雷达这一传感器应用方案。
从优势上，摄像头比激光雷达便宜得多。这无疑降低了自动驾驶汽车的成本，让其有望真正被普通消费者所承受。
此外，摄像头不会被雾、雪、雨等天气干扰，适应性更好。
从形态上看，摄像头可以轻松融入汽车的设计中并隐藏结构中，不会让汽车外形显得突兀，对消费者更具吸引力。
不过，摄像头也有着自己的软肋。与直接提供物体精确距离和位置的激光雷达不同，摄像头仅能将原始图像数据反馈给系统。这就要求汽车系统必须依靠强大的计算机视觉能力，针对图像进行准确处理——就像人类大脑处理来自眼睛的反馈。
此前，计算机视觉系统还不够强大，无法处理来自摄像头的大量数据，以便及时处理并做出驾驶决策。不过特斯拉推出“全自动驾驶计算机”（FSD计算机）。除了8个视觉摄像头、12个超声波传感器及雷达等组件，每台FSD计算机还包含两个芯片，每个芯片都有两个专门设计用来运行神经网络的加速器。再加上超强性能，特斯拉以摄像头为基础的自动驾驶方案有了成功的可能性。
马斯克表示，“只有傻瓜才会用激光雷达”。马斯克或许认为，摄像头+数据+神经网络的组合足以挑战甚至胜过激光雷达。
4. 摄像头的分类
车载摄像头包括单目摄像头、双目摄像头、广角摄像头等。ADAS阶段单目摄像头应用较多，L3以后，需要多个摄像头配合。
为了实现从自动驾驶到手动驾驶的安全过渡，系统必须全面掌握车辆内外的情况。对内摄像头用来监测驾驶员的情况，持续监控驾驶员是否在执行驾驶操作，以及车辆前方的交通状况。相关软件会持续评估摄像头的数据，显示驾驶员是在专心驾车还是处于分神状态，是否将脸朝向后座的儿童，是否盯着智能手机屏幕，或者驾驶员的手是放在转向盘上还是放在后脑上。通过这个新摄像头系统，车辆和驾驶员可以持续关注彼此的情况。这最终有助于人们建立对自动驾驶的信任感。
5. 在无人驾驶中的应用
1）在ADAS中的应用
车载摄像头是实现众多预警、识别类ADAS功能的基础。在众多ADAS功能中，视觉影像处理系统较为基础，对于驾驶者也更为直观，而摄像头又是视觉影像处理系统的基础，因此车载摄像头对于智能驾驶必不可少。
车道偏离预警（LDW）、前向碰撞预警（FCW）、交通标志识别（TSR）、 车道保持辅助（LKA）、行人碰撞预警（PCW）、全景泊车（SVP）、驾驶员疲劳预警等众多功能都可借助摄像头实现，有的功能甚至只能通过摄像头实现。
2）在无人驾驶中的应用
在无人驾驶的体系中，我们采用的是一个双目摄像头，因为成本比较低。
但是，双目在实际生产中的问题在于：双目系统的两个摄像头需要精确标定，由于硬件机械结构的不稳定，在车辆行进的过程中，比较小的颠簸和抖动都会对两个摄像头的外参造成扰动。所以我们要实现一个相对可靠的自标定，这是双目从实验环境走到实际生产比较大的挑战。
我们的做法是研发了一套比较可靠的双目自标定算法，在车辆行驶过程中会以一个固定的频率对双目的外参不停地进行修正。在无人驾驶中，我们采用的解决方案是以计算机视觉为主导，然后辅以其他传感器，比如说毫米波雷达、GPS、IMU 等传感器的解决方案。
降低成本最关键的一点是如何利用算法的优势来保障安全性，这其中包含两点：
第一，在视觉传感器自身之间不同任务和算法之间做交叉验证。我们知道没有一个算法是 100% 可靠的，任何一个单一算法都会有失效的可能。但是，如果我们同时进行多个算法之间的交叉验证，那么安全性就会得到一个大的提升。
这是我们说的多个任务之间的交叉验证。
第二，多个传感器之间的交叉验证，主要是视觉传感器的输出和毫米波雷达的交叉验证。所以降低成本的关键，并不意味着我们牺牲安全性，降低的关键就是提升单个算法性能极限，同时对多个算法的结果做交叉验证。
6. 摄像头产业
车载摄像头的产业链情况
主要包括镜片、滤光片、CMOS、PCBA、DSP和其他封装、保护材料等。不同于手机摄像头，车载摄像头的模组工艺难度大很多，主要是因为车载摄像头需要在高低温、湿热、强微光和震动等各种复杂工况条件下长时间保持稳定的工作状态。
芯片，CMOS（Complementary Metal-Oxide Semiconductor，即互补性金属氧化物半导体）是摄像头的核心部件，广泛应用于车载摄像头上。CMOS价值约占到摄像头成本的三分之一，基本被外资品牌把控。Sony、Samsung和OmniVision三家企业的市场份额超过60%。
CCD和CMOS芯片是组成倒车摄像头的重要组成部分，根据元件不同可分为CCD和CMOS。CMOS主要应用于较低影像品质的产品中，它的优点是制造成本、功耗较CCD低，缺点是CMOS摄像头对光源的要求较高;CCD，是应用在摄影、摄像方面的高端技术元件还附带有视频捕捉卡。CCD和CMOS在技术上和性能差距很大，一般来说，CCD效果要好，但价格也贵些，建议在不考虑费用的前提下选择CCD的摄像头。
镜头也是摄像头的一个重要部件，国内自主品牌企业有明显优势。根据TSR的研究报告，2015年全球摄像头镜头厂商中，台湾企业大立光电的出货量仍保持第一，占据全球约三分之一的市场份额。
