摘要: 激光雷达(Lidar,Laser Detecting and Ranging,激光探测和测距)是一种通过发射和接收激光束,来实现目标检测的感知元件。激光雷达一般通过测量发射和接收激光束的时间差(ToF,Time of Fly)或者频率差,来确定目标信息。激光雷达在短时间内可以获取大量的位置点信息(或者称为激光点云),1秒内可以生成的点的数量从几十万到数百万不等。由于激光频率高,波长短,所以激光雷达一般具备极高的角度分辨率和测距精度。 阅读全文
posted @ 2024-03-25 20:39 AutoDriver 阅读(856) 评论(0) 推荐(0) 编辑
摘要: BEV要做的核心事情就是一件:把2D相机视角下的feature投影到2D鸟瞰图上。 但是,这个投影需要知道深度信息。当相机视角下,还没做到detection回归距离时,是只有平面的特征图的。‘ 用AI,当然是假装知道了深度,投影变换用一个矩阵表示,然后靠数据去学习这个矩阵。可以理解为,把回归距离这一步在这做一遍。单帧图像当然可以做,靠近大远小,车和人的尺寸都是固定的,这个规律不难学到。 阅读全文
posted @ 2024-03-25 15:34 AutoDriver 阅读(645) 评论(0) 推荐(0) 编辑
摘要: 在自动驾驶系统运动规划模块的碰撞检测中,通常分为 粗略碰撞检测 和 精细碰撞检测 两个步骤。 粗略碰撞检测用来将两个明显不相交的物体快速排除,使用 外接圆的包围形 或 轴对齐包围矩形(Axis Aligned Bounding Box,AABB)都是比较好的方式。 阅读全文
posted @ 2024-03-25 15:27 AutoDriver 阅读(452) 评论(0) 推荐(0) 编辑
摘要: 很多人都有这样的疑问--基于BEV(Birds Eye View)的自动驾驶方案是什么?这个问题,目前学术界还没有统一的定义,但从我的开发经验上,尝试做一个解释:**以鸟瞰视角为基础形成的端到端的自动驾驶算法和系统**。 感知模块是最为重要的自动驾驶模块之一,也是最为复杂的模块。一般的感知模块包含障碍物目标检测,车道线语义分割,可行驶区域分割等等。在BEV出现之后,整个自动驾驶感知模块趋向形成统一,简洁,高效的端到端结构。不光是感知模块,基于BEV进行的规划决策也是学术界研究的方向。下面将结合几篇顶会论文来看BEV给自动驾驶技术带来的改变。 阅读全文
posted @ 2024-03-25 10:34 AutoDriver 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 无人车上拥有各种各样的传感器,每个传感器的安装位置和角度又不尽相同。对于传感器的提供商,开始并不知道传感器会以什么角度,安装在什么位置,因此只能根据传感器自身建立坐标系。无人驾驶系统是一个多传感器整合的系统,需要将不同位置的传感器数据统一到一个固定的坐标系——自车坐标系下,才能分析当前无人车所在的道路场景。 阅读全文
posted @ 2024-03-25 09:42 AutoDriver 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 三维刚体运动的数学表示:旋转平移矩阵、旋转向量、欧拉角、四元数、轴角模型、齐次坐标、各种变换等 照相机模型:单目/双目模型,单目中的世界坐标系/相机坐标系/图像坐标系的互相转换、畸变与矫正,双目涉及的视差和深度的反比关系、基线,鱼眼模型和校正等 图像变换:线性变换、仿射变换、透视(投影变换) 图像相似度评价指标:SSIM/PSNR/MSE、平滑损失、ξ等。 参考:《视觉SLAM十四讲》 阅读全文
posted @ 2024-03-24 16:14 AutoDriver 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 自动驾驶中对复杂场景数据的检索需求正在增加,尤其是随着乘用车已经具备了在城市环境中导航的能力,必须解决长尾场景问题。同时,在已有的二维图像检索方法下,场景检索可能会出现一些问题,如缺乏全局特征表示和亚层次文本检索能力。 为了解决这些问题,作者提出了BEV-CLIP,这是第一种多模态BEV检索方法,它利用描述性文本作为输入来检索相应的场景。该方法利用大型语言模型(LLM)的语义特征提取能力,促进零样本检索大量文本描述,并结合知识图中的半结构化信息,提高语言嵌入的语义丰富性和多样性。实验结果表明在NuScenes数据集上,文本到BEV特征检索的准确率为87.66%。论文中的示例支持本文的检索方法也被证明在识别某些长尾场景方面是有效的! 阅读全文
posted @ 2024-03-24 16:07 AutoDriver 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 对于自动驾驶来说,建图是必不可少的,目前主流厂商技术都在从HD到"无图"进行过渡筹备中,不过想要最终实现真正的"无图"还是有很长的一段路要走。 对于建图来说,包含了很多的道路元素,车道线,停止线,斑马线,导流属性,道路边缘以及中心线(包含引导线)等。这里,中心线的预测通常是根据轨迹,通过数学公式进行拟合,目前学术上逐渐采用模型进行预测,但是对于下游(PNC)来说,还是存在不够平滑,曲率不够精准等问题,不过这个不在本次方案讨论范围内,先忽略,以后有空可以写一写。 道路边界对于PNC来说也是至关重要,约束车辆行驶范围,避免物理碰撞发生。通常道路边界的生成有几种方法,一种是当做车道线的一部分,跟着模型一起输出,但是没有车道线的特征明显,容易漏检,而且道路边界是异形的,基于分割的方案会比基于Anchor的方案效果稳定一些。另一种是HD的方法,根据处理后的车道线,按照距离和规则等虚拟出道路边界线。本文给出一种新的解决方案,略微繁琐,但是优点是可以延用已有的公开数据集进行处理生成,快速落地验证,缺点是本方案不具备时效性,是离线的方法。 阅读全文
posted @ 2024-03-23 22:34 AutoDriver 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 关于自动驾驶视觉感知,最近两三年另外一个热门方向便是更为直接的bev视角下的视觉感知。不同于深度估计先显式获取各个像素点的深度,再支持其他相关任务,bev视角下可以实现端到端的目标检测、语义分割、轨迹预测等各项任务。由于这种方法pipline更加简单直接,且能够更好地被下游规控所使用(在同一个坐标系),近期相关研究工作达到井喷趋势,霸占各大SOTA榜单。现按照大致发展顺序介绍一系列经典模型,帮助感兴趣的小伙伴快速了解相关内容。 阅读全文
posted @ 2024-03-23 22:19 AutoDriver 阅读(363) 评论(0) 推荐(0) 编辑
摘要: 在精确检测车速车距的方案中,视觉方案是非常具有挑战性的,但由于没有昂贵的距离传感器而大幅降低成本,所以潜力巨大。本文综述了基于视觉的车辆速度、距离估计。并建立了一个完整的分类法,对大量工作进行分类,对涉及的所有阶段进行分类。除此之外,还提供了详细的性能评估指标和可用数据集概述。最后,论文讨论了当前的局限性和未来的方向。 阅读全文
posted @ 2024-03-21 20:27 AutoDriver 阅读(50) 评论(0) 推荐(0) 编辑