TOF摄像机可以替代Flash激光雷达吗？
TOF摄像机可以替代Flash激光雷达吗？
一．基于ToF技术的Flash激光雷达
基本成像原理上ToF Camera与LiDAR相同，都采用飞行时间测距技术（包括利用APD或SPAD的直接测距法，和相干波调制的间接测量法）。不同之处在于应用的场景、结构设计和发射光波长存在不同。
洛伦兹I系列产品采用ToF测距原理，激光工作波长850nm，最远可以探测到50m，视场角达60°x 45°，可输出QVGA（320 x 240）尺寸的深度图、灰度图及点云图，最高帧速可达120FPS，测距精度为2cm或1%；配置千兆以太网（数据/命令）+CAN（命令）接口，TCP/IP协议传输，适用于各类操作系统。
I系列特点：
- 测量距离远：最远可以探测到50m；
- 抗强光干扰：可在正午阳光下超过100kLux下工作；
- 高可靠性及环境适应性：使用寿命超过10000小时；工作温度-40℃~85℃；防水、防尘、防盐雾、避雷，适合在复杂环境应用；
- 多机协同工作：具备多机协同工作的能力，避免相互干扰。
I系列应用：
- 各类低速车辆：物流车、环卫车、接驳车、AGV等；
- 各类机器人：服务机器人、仓储机器人、特种机器人等；
- 安防监控：周界防护、入侵监测、人员计数、定位和跟踪等；
- 还可用于包裹箱体尺寸测量、交通路测等。
二．TOF摄像机与Flash激光雷达基本特性
TOF相机即Time to Flight相机，从原理上讲与Flash激光雷达完全一致，没有任何区别，TOF相机更多时候被称为深度相机或3D相机。
Flash激光雷达又叫焦平面成像激光雷达。
实际TOF相机与传统机械扫描激光雷达也差不多，传统机械扫描激光雷达是逐点扫描成像，而TOF是一次照射成像。
TOF相机与激光雷达的区别只是应用范围的差别，目前大多数TOF相机用在手机等近距离（2米以内）领域，汽车用激光雷达则在（0.2-250米之间）。
再有就是机械扫描激光雷达是360度覆盖的，TOF相机一般水平FOV为55度。
与传统相机比，TOF相机是主动发射激光，激光到达物体表面返回，被激光雷达的光电接收二极管接收到。
根据光速或相位计算光源与目标之间的距离，最终形成深度图像。
传统相机是自然光线到达物体表面返回到传统相机传感器里的光电二极管内，根据反射光的强度最终形成图像。
TOF相机原理与激光雷达无丝毫区别
三．TOF摄像机比Flash激光雷达优势
1. TOF相机相比激光雷达优势非常明显，最大的优势是体积和成本，TOF相机体积可以很小，与普通相机没有区别，TOF相机集成度高，可以用半导体工艺制造，在芯片上集成图像传感器阵列（Image Sensor Array）、读出电路（Read-Out）和镜头。再配合VCSEL发射激光，整套系统理论成本和手机上的TOF相机一样，不超过30美元。
2. 其他优点还有：刷新频率高，线扫描激光雷达刷新频率一般是5-10Hz，Flash激光雷达可以轻易做到KHz。
3. 读出电路简单（就是一个积分电路可集成在传感器新品内），算力需求极低，无需昂贵的GPU或FPGA做运算单元。
4. 分辨率高，目前量产的TOF相机，如松下的像素为640*480，水平FOV为55度，垂直FOV为41度，10Hz的话也就是每秒300万点，而Velodyne的64线激光雷达每秒130万点，但这是360度扫描的，如果只是55度，那么只有大约20万点，远低于TOF相机，TOF相机相当于960线激光雷达。而最新的TOF相机已经达到100万像素，也就是大约3168线激光雷达。
上图为松下TOF相机的参数，松下的TOF相机可以输出深度图像、RGB图像和NIR图像。不过有效距离应该不超过4.5米。
四．产品及应用
传统解决有效距离的方法是使用单光子接收光电二极管，传统激光雷达接收光电二极管是APD。APD即雪崩二极管有两种工作模式，一种是雪崩模式，或者叫线性模式，另一种叫盖革模式，也就是单光子探测模式（Single Photon Diode SPD）。
在盖革模式下，雪崩二极管接收到一个光子的话,就会发生雪崩现象，使电流达到最大值，这个过程一般是瞬态的(一般不到1ps)，这样就可以在极短的时间内对光子进行计数。
利用TDC（时间数字转换器，一种积分成像技术，包含TAC和ADC两步）可以直接生成3D数字图像信号。
缺点是高功率的SPAD一般需要用1550纳米的InGaAs/InP工艺的APD，而这种APD成本比较高。不过拥趸依然不少，典型代表是德国大陆汽车、IBEO ZF、Ouster、Argo和丰田。
2016 年9月，前 Google 员工 Salesky 和前 Uber 员工Peter Rander 联合创办了 Argo AI。2017年2月，福特公司10 亿美元注资 Argo AI。Argo得到福特资金支持后，立刻展开收购，2017年10月，ArgoAI 收购了激光雷达初创公司Princeton Lightwave，具体交易额不详，估计在1亿美元上下。PrincetonLightwave源自知名的普林斯顿大学，2000年成立，主要方向测绘领域的单光子激光雷达，2016年才开始进军汽车领域。
PrincetonLightwave虽源自普林斯顿大学，但其技术来源是MIT的林肯实验室，全球最顶尖的单光子激光雷达实验室。2014年林肯实验室将单光子激光雷达技术授权给两家公司，一家是波音旗下的Spectrolab，另一家就是Princeton Lightwave。波音-西科斯基将单光子激光雷达用在美军下一代直升机上。
丰田早在2010年就开始研发单光子激光雷达，2014年和2015年均有产品问世。
丰田早在2010年就开始研发单光子激光雷达，2014年和2015年均有产品问世。
尽管在2017年丰田TRI投资了Luminar，但这并不意味着丰田放弃了单光子，在2017年底，丰田中央研究院发表了有关单光子激光雷达的论文SPAD DCNN: Localization with Small Imaging LIDAR andDCNN，文中低调地提到了丰田的第三代单光子激光雷达。
IBEO的固态激光雷达核心也是VCSEL和SPAD。
相对微机械和MEMS，IBEO的可靠性和灵活性要高得多，相对无法扫描的Flash激光雷达也有一定优势。
相对微机械和MEMS，IBEO的可靠性和灵活性要高得多，相对无法扫描的Flash激光雷达也有一定优势。
IBEO的单光子激光雷达能输出点云和反射强度信息，部分Flash可能无法输出反射强度信息。
IBEO称之为 ibeoNEXT Generic 4D Solid State LiDAR。水平FOV可选择11.2度、60度和120度。称之4D是反射强度信息，反射强度信息近似于传统摄像头的灰度图像，可以用传统的图像识别算法分类。
2019年8月27日，WEY品牌母公司长城汽车与激光雷达厂商Ibeo、北京亮道正式签署了激光雷达技术战略合作协议，三方合作的产品基础就是 ibeoNEXT Generic 4D Solid State LiDAR。 SPAD不仅拥有远距离，还拥有高信噪比、高人眼安全和高分辨率优势。对于传感器来说，信噪比是最重要的参数之一。非相干激光雷达的信噪比SNR方程可以表示为：
从上面公式可以看出，要提高信噪比，最简单有效的方法是提高接收信号光功率和量子效率。单光子或者说盖革模式下的的APD其量子效率是机械旋转雷达用的硅PIN二极管的数百乃至上千倍。
要提升功率，就不得不考虑人眼安全，对于常用的905纳米来说是不合适的，只有1550纳米的InGaAs，和905纳米的硅光电探测器相比，要安全上千倍，，可以毫无顾虑地加大激光器的功率。固态激光雷达领域知名的Luminar就是以使用1550纳米的InGaAs为特色的，其使用的激光器的功率是传统硅光电系统的40倍，不仅提高信噪比，减小脉冲宽度至20纳秒以下，脉冲重复频率低于100MHz，占空比低于1%。同时提升了有效距离，在雨雪雾天，物体的反射率会降低，导致激光雷达有效距离缩短，不过加大功率，就可以解决这个问题，Luminar就是这么做的，Luminar强调即使10%反射率的物体，有效距离也可以达200米。
关于激光功率的放大，Luminar申请了专利。其专利是用二级大模场掺铒光纤（EDFA）放大器将一个种子源激光调制为一个脉冲宽度至20纳秒以下，脉冲重复频率低于100MHz，占空比低于1%的脉冲激光系统。Luminar的专利核心一个是种子源激光，另一个是掺饵光纤放大器。 激光雷达的Z轴分辨率取决于脉冲宽度，激光雷达里有个简单的公式，激光雷达的Z轴分辨率是脉冲宽度的1/6，10纳秒的脉冲宽度分辨率大约就是1.6米。Velodyne的64线激光雷达HDL-64E早期的脉冲宽度是10纳秒，据说改为双反射后提高到5纳秒。大部分固态激光雷达一般是50-150纳秒，单光子可以轻易做到1纳秒甚至是几十皮秒。远远好于大部分激光雷达。 再来说光束角，光束角也在一定程度上决定有效距离，使用MEMS的激光雷达光路复杂，光束角都很大，一般是10mrad以上，Flash型激光雷达一次成像，光路简单，光束角比较小，可以做到1mrad，单光子也是一种Flash型激光雷达。Velodyne HDL-64的光束角为8mrad。
2020年2月，松下在国际固态电路Solid-State Circuits Conference宣布开发了有效距离100米最远250米，且达100万像素的TOF图像传感器。标志着单光子激光雷达最终将一统江湖。
松下对传统的SPAD进行了改进，从平面型改为垂直堆叠型，这来自松下早年在CCD Image Sensor领域积累的丰富经验。改进后每个像素元的尺寸大大缩小，意味着像素可以更高。
为提高精度各距离范围内采用不同的技术，10米内是传统的非直接TOF技术，即相位检测，精度可达毫米级。10米到100米内采用光子累加和时域非直接TOF技术，精度为厘米级。超过100米采用直接DOF，精度为1.5米。不仅是松下，三星、索尼、意法半导体、Omnivision、还有收购了爱尔兰Sensl的安森美都在开发类似的TOF图像传感器。
三星TOF图像传感器芯片截面分析
这种传感器一旦量产，将碾压现有任何非360度旋转型激光雷达，无论功耗、刷新率、成本、性能、体积、车规，都具备压倒性的优势。
