[Paper Reading] Tesla AI Day 2022 for FSD Beta
Framework
Occupancy
模型结构比较像ICCV 2023的OccNet的做法，不过还会额外预测Suface以及NeRF state，预测可行驶区别suface的好处是可以辅助Planning&Control给出更加准确的运动速度等信息(比如，上下坡可根据suface坡度做更准确判断)。
Lanes Neural Network
比较有意思的是将车道线的节点（eg. 起点、中间点、分叉点）的位置信息作为token，使用Transformer的Decoder预测节点token以及链接关系矩阵。
Language Decoder
Planning
不同agent(动态目标)会有K种可能运动轨迹，这些可能运动轨迹组合起来会形成大量潜在可能性，每种可能性的概率判别速度就非常重要，FSD Beta展示的基于NN的planner大大提升了每次判断的速度。
下图是Occupancy可视化，Occupancy会做为3D概率图来辅助轨迹预测。
Auto Labeling
2019年SfM重建点云上标注
2020年BEV上标注
2021年多趟3D轨迹拼接重建点云上标注
Training Infra
14k gpus
160亿帧的训练数据
相关链接
https://www.youtube.com/watch?v=ODSJsviD_SU
https://zhuanlan.zhihu.com/p/570431956?utm_source=weibo&utm_medium=social&utm_oi=34558732926976&utm_content=snapshot&utm_id=0
