自动驾驶- SSD/ZNS技术分析

自动驾驶- SSD/ZNS技术分析

参考文献链接

https://mp.weixin.qq.com/s/9gcNdbeoiCIgp-t5pKAOfA

https://mp.weixin.qq.com/s/_gWx3hVrBkYBAwQykwkFWw

https://mp.weixin.qq.com/s/CIl5J9ph0vqww70plUe3cw

https://www.toutiao.com/article/7159039510435676703/?tt_from=weixin_moments&utm_campaign=client_share&app=news_article&utm_source=weixin_moments&iid=0&utm_medium=toutiao_ios&share_token=B1FCF606-A507-4283-A394-7AB1769C6704&wxshare_count=1&wid=1666902853477

被资本市场掏空的自动驾驶

尽管不详风暴正席卷世界，但人类实际也处于在解决“经济问题”的门口了——也就是追求日常的生存之道。

自动驾驶的出现将会改变人类出行的方式，重构交通行业的商业模式。当行业进入对未来的科学幻想中时，自动驾驶赛道开始走向火热至2018年前后到达顶峰。作为一项新的现代技术革命一定伴随着资本的力量，所以行业的兴衰同步于资本市场对自动驾驶的起落，也就是因为这样才会有前赴后继的创业者不断的进行技术的探索，在这一过程中既有直面残酷现实的勇士，也有投机取巧的术士，既会有“门神”一样的人物存在，也会有新的技能人才需求。可以确定的是人类社会是一直是在进步发展的，而人类的思维和认知的也是一直变化的，社会发展的根本推动力就是人类的思维和认知变化，反过来人类的思维和认知决定社会发展的速度。思维和认知如同印刻在社会中无形的地图一样，从开始的借鉴参考地图到最后依赖地图，然后再次寻找新的地图，如此反复以往。

自动驾驶技术在产业界的火热背后除了社会发展的必然趋势以外，更重要的还有资本市场的推波助澜。自动驾驶公司对于资本市场来说，仅仅是众多投资中的某一个领域或者某一个点，而面对漫长的技术发展进程，资本市场逐渐成为了自动驾驶公司的唯一，也就是说没有资本市场的支撑，很多自动驾驶公司将会瞬间死亡，但是没有自动驾驶，资本公司依旧春风得意，资本永远追逐的是风口，而自动驾驶只能借风而行并不能永远引领风口。资本看重的是自动驾驶未来的期望和规模，核心目的并不是做慈善而是ROE（股东权益报酬率）,而自动驾驶的期望和规模需要更多的投入，在何时盈利和技术沉没成本之间的矛盾和对立中出现几个现象：

自动驾驶公司逐渐沦为资本市场的地图，唯资本是瞻。纵观自动驾驶的发展历程，从最开始学术界的研究目的在于探索智能的范围边界到谷歌的无人驾驶商业化研究。在智能化的趋势下，工程师、管理者、研究员等等纷纷入局自动驾驶开展技术创业，虽然创业公司的愿景都很长线，但是终究抵挡不住岁月的摧残，愿景逐渐成为了获得下一轮融资、为了上市。自动驾驶俨然即将或者已经失去了技术的活力而沦为资本市场的工具，为了实现资本需要的高增长，自动驾驶公司竞相放卫星，这对于技术的应用是不健康的甚至会起到负面的影响。

资本市场的作用力增强

自动驾驶作为数字科学和机械科学的结合体，必将以实体经济为载体。

这造就了自动驾驶行业一定具有周期性的特点，从技术到产品到普及需要经过不同的周期，而资本市场仍然以过往的投资认知杀入，一旦环境发生变化春江水暖资本先知，传导到自动驾驶行业就是利润要求提高或者资金的收缩，这对于自动驾驶公司无疑是釜底抽薪。从行业来看，不难看出这种迹象。自动驾驶高科技公司开始走辅助驾驶量产路线和传统的零部件供应商展开正面竞争；以智能化为标签的新势力造车头部企业小鹏汽车董事长增持自家股票，以此提振投资人对小鹏汽车的信心；亚马逊探索三年终究也解散了400人团队并关停无人配送车项目；美股市值最高的自动驾驶上市公司Aurora Innovation市值下滑近九成；英特尔旗下的自动驾驶视觉“一哥”Mobileye上市估值从2022年的500亿美元降至160亿。种种迹象指向同一个方向，自动驾驶行业中资本的话语权在不断增强，同步将影响自动驾驶的技术发展方向。

自动驾驶公司对于资本的认知偏差资本市场的钱对于创业公司来说并不是大礼包让大家实现物质自由，更多的是责任和义务，资本的投入意味着创业公司对未来期望的兑现要求，投的越多期望越大压力也越大。社会需要不断的涌现创业者推动技术的发展，但并不是所有人都适合创业，尤其是面对复杂的自动驾驶系统。资本市场催促的号角让很多创业者迷失了方向和初心，诚然保持方向和初心非常难，但是就因为难才能体现出坚持的价值。以功利主义为目标的创业者每天想的是在竞争市场中套现的方法，比如；为配合资本市场的演出而提高虚假的增长点获得新一轮的融资；分拆变卖给上游公司；冻结招聘甚至裁员。虽然市面上十个自动驾驶公司，有九个半宣称是以用户中心的产品设计，实则大多数以资本为中心的技术示范。这种情况下又会出现几个现象：首先是对自动驾驶行业的技术认知降低，随着创业人员的增多通用技术逐渐会普及，自动驾驶不断的“生蛋”扩展场景应用，对关键技术难点的突破反而会减少。基于工控机和嵌入式的自动驾驶汽车看起来都可以完成泊车和行车功能，但是技术路线和工程难度完全不在一个等级；其次是自动驾驶创业公司进入融资竞争红海，能融到资的公司总能融到，融不到资的公司开始破产，技术让位于资本。融资能力和技术或商业能力会出现不匹配的情况，资本市场开始用脚投票选择标的。这样会不断出新的创业公司，看似风生水起，实则还是熟悉的味道原来的配方，不同之处在于公司名字换了，对于实际的自动驾驶行业推动作用并不大；

最后是人才的培养缓慢。产业一直是领先于教育，自动驾驶的人才培养是一个长过程。在新的产业面前，工作需求和人才技能会出现不匹配，行业需要每个公司按需培养工程师。在资本的游戏中，没有时间和资源去培养人才，要么压榨现有工程师要么提高待遇外招，造成的结果就是工程师和公司互相不满意。工程师没有成长，公司也一定会原地踏步。在自动驾驶的产业周期中，以金融的手段招募人才结果也一定引发金融的不对称性。最常见的自动驾驶创业公司或者新势力汽车公司将分配期权、股票的激励形式奉为圭臬，看似是在提高工程师收入的手段，其实是对工程师无形的枷锁，将公司的期望与工程师的行为直接关联起来，这样反而会抹杀工程师的创新和勇气，然而一旦在资本市场取得成功获得最大利益的一定不是工程师团体，并且差距会很大。工程师需要的不是期望而更多是实际利润的分成，自动驾驶行业的创业风险不应该转嫁分散。在自动驾驶的风口下，原本在各自领域有所建树的人才纷纷各立门户创业，一定程度上会造成其他技术领域的人才断层。毕竟，智能化不仅仅是自动驾驶领域。

自动驾驶技术逐渐收归巨头

虽然自动驾驶技术门槛在降低，但是自动驾驶商业逐渐只有行业巨头才能玩转。特斯拉汽车背靠马斯克的垂直整合，从芯片到数据算法建立自研体系，特斯拉汽车的自动驾驶成为行业对标的首要对象。其他车企或者零部件巨头也开始进行深度布局，打通上下游研发价值链。在这种情况下，从企业的角度来看自动驾驶创业公司处境将更加困难，新玩家入局的路径通道在减少，小公司对于自动驾驶技术的掌控力度在减弱，从行业的角度来看自动驾驶技术的创新力在下降，未来很可能自动驾驶技术被屈指可数的几家企业垄断掌握。

资本对于自动驾驶的作用如同燃油车的燃料是必不可少的，因为加注了燃油汽车才能启动，但是汽车启动的目的绝对不是为了不断寻找加油站，而是要去远方的目的地。依照资本的套路制做自动驾驶的发展地图注定会失败，当然创始人或者初始投资人可能会赚到。所以，需要分清楚是资本市场的意愿还是自动驾驶行业的需求，是创始人的梦想还是工程师的想法，两者之间无法互相替代。无论是以视觉为主路线还是以多源传感器为主的路线，自动驾驶的盈利周期是与实体经济息息相关，也就是说利用自动驾驶注定赚不了快钱。特斯拉汽车、Mobileye也都是烧了近十年的钱才实现盈利，试问国内有多少创业者可以在同一个领域痛苦的坚持十年，同样又会有多少资本坚持十年看好一家企业，一般基金的周期也就是十年，多数基金的想法都是在三年内实现盈利退出，那么这三年对于自动驾驶公司来说必须要实现连续增长，三年对于自动驾驶技术又会有多少实质性的突破呢？世界上本来没有故事，讲的人多了自然就出现故事合集了。

随着国际环境的变化和自动驾驶技术的发展，未来将会有更多的自动驾驶公司面临破产的问题。这个结果不是某个管理者的失误也不是工程师的能力问题，而是一开始的方向就有问题，产品设计的首要目标并不是为用户解决的问题，而是如何先获得资本的青睐，所以只能不断的“尬”技术讲故事最后破产只是一个必然的结局。资本让自动驾驶行业火热，同样资本也会抛弃自动驾驶，相比于如何获得资本的青睐更重要的是去思考没有资本以后自动驾驶行业或者公司该何去何从？

自动驾驶只是一个技术的应用，正如当年的智能手机的发展一样。技术没有先进和落后之分只是应用的场景和社会的认知在变，新技术只有惠及大众才能看到真正的威力从而建立利润的价值链，现在专家们总是喜欢评价乔布斯的苹果手机有多创新改变人类的消费习惯，自动驾驶将会有多大的蛋糕，其实这些只是以结果返过去看待原因，如同刻舟求剑。面对变化的时代，变化的技术发展，首先是以用户为中心的产品设计，其次才是技术的引用，技术只有被社会接纳应用才是有价值的才会产生商业模式，否则只是资本市场的工具，被掏空后弃之。

理性看待资本、理性看待自动驾驶技术、理性看待创业！大家都记得大风起兮云飞扬，鲜有人会想风从何而来，没风了猛士还守不守四方。

ZNS前世今生，从Open-Channel到ZNS

01、缘起：Open-Channel

1.1 Open-Channel SSD的出现

传统的NVMe SSD，对于上层的系统来说，是一个通用型的块设备层。由于使用和磁盘相同的通用块I/O接口，传统NVMe SSD的控制权并不在SSD。受该接口限制，传统SSD的FTL具有一定局限性，因而成为了SSD性能和效率的瓶颈。这些限制包括SSD底层策略，例如：数据放置位置、I/O调度、磨损均衡、以及其他涉及SSD的应用效能优化。这些缺点并不是由于硬件限制引起的，而是传统NVMe SSD设计决定的。这时候，一种新的想法Open-Channel开放接口SSD产生了，顾名思义，开放接口把SSD底层接口开放给主机，这样做有什么好处呢？

· 主机控制权
主机端可以根据自身的业务来控制盘的行为，包括写入顺序，写在哪个NAND的Block上，什么时候擦除和写入，取代传统的SSD firmware控制权。基于主机对自身读写行为及业务运行的负载感知了解，可以从主机端直接进行优化处理。
· I/O隔离
对于用户端应用架构(multitenant architecture)，I/O隔离有助于解决由于物理资源共享导致不同逻辑分区不可避免地影响到彼此的性能表现，Open-Channel SSD里面的每个PU(NAND操作基本单元)在物理上是隔离的，主机端可以决策对哪个PU物理位置进行操作。
· 可预测和可控制的命令时延
由于主机控制所有命令的操作，并知道每一个物理PU上正在执行的（或者pending的）所有NAND操作，所以主机对自己下发后的读写命令时延就有准确的把握。
1.2 Open-Channel SSD的实现
为了实现上述功能和控制，Open-Channel SSD实现了把大部分传统NVMe SSD FTL功能从SSD Firmware内部迁移到上层的主机端，迁移的功能有Data Placement, Garbage Collection, L2P table , I/O Scheduling, Wear Leveling等。

FTL功能上移后，为了实现上述功能，Open-Channel SSD将本来位于NVMe SSD上Firmware中的对NAND Flash管理和控制的部分功能，交给了主机端的应用软件。让应用根据自身的业务特点，对盘上的NAND Flash进行有效的管理，如下图所示。很多情况下，主机端的应用管理，可以有效避免垃圾回收等后台操作对前端应用I/O请求的影响，更好控制QoS和延迟。

普通NVMe SSD架构Open-Channel SSD架构
与此同时，Open-Channel SSD向主机展示出内部NAND布局的细节，主机可以决定数据实际存放的物理位置。这样，Host就可以根据IO请求的发起方，将IO 数据写到不同的位置，实现不同应用、用户数据的物理隔离，达到更好的QoS效果。
传统NVMe SSD vs Open-Channel SSD NAND布局 (来源[2])
为了实现NAND物理位置的定义，Open-Channel Spec定义了[3]：
· Chunk
Chunk是指一系列连续的逻辑块。在一个Chunk内，主机侧只能按照逻辑块地址LBA顺序写入，如果要重新写入前面写过的某个逻辑块，需要重启该逻辑块所在的Chunk。
Chunk示意图
· 并行单元（Parallel Unit，PU）
SSD是通过并行操控闪存来实现高速读写的。PU是SSD内部并行资源的一个单位，主机侧可以指定数据写到哪一个PU上，一个PU可能包含一个或多个闪存Die。· 不同的PU可以完全做到物理隔离；· 值得说明的是，在最新的NVMe协议里面，I/O determinism已经解决了物理隔离的问题，而在Open-Channel提出的时候，尚没有标准解决方案，这也是Open-Channel的价值所在。
Chunk和PU逻辑拓扑图如下：

Open-Channel SSD逻辑拓扑图

· 很多Chunk组成了PU；
· 很多PU组成了Group(其具体定义，请读者参阅Open-Channel 协议)；· 很多Group组成了SSD。在Open-Channel SSD中的逻辑块地址(LBA)的概念被重新定义，它包含了PU、Chunk和Group的信息。

LBA Encoding格式

从实际应用的部署情况来看，Open-Channel SSD主机端实现了一个复杂的FTL(Flash Translation Layer), 替代SSD中本已健壮成熟的Firmware层实现的功能，来管理NAND flash和数据存放。而且Open-Channel Specification 仅仅定义了Open-Channel涉及的最为通用的部分。不同厂商的SSD产品特性不同，它们或者难以统一，或者涉及敏感内容，不便公开，实际Open-Channel产品往往在兼容Open-Channel Spec的基础上，各有一部分私有定义。不同业务方的需求独特，往往需要在自己的FTL内加入定制化的内容。因此，至今尚未有通用的Open-Channel SSD和针对独特业务的通用FTL。这些制约严重影响了Open-Channel的发展速度。
当前全球市场，实现了Open-Channel SSD商用的厂商只有Shannon Systems。部分互联网头部厂商基于Shannon Systems的代码和产品定制化自己的Open-Channel SSD产品用于业务效能提升。

02、进化：ZNS更进一步

2.1 Open-Channel SSD的缺点

然而Open-Channel也有以下缺点：· 需要主机侧软件层面的支持，或者重新增加一个软件层来匹配原来的软件堆栈。目前其软件生态并未完善，有些上层应用需要的改动比较大；· 主机侧存储开发人员需要透彻了解SSD内部原理，并且实现定制的FTL；· 主机侧与SSD分工协作复杂，尤其是在处理后端纠错过程，以及解决数据在闪存上的数据磨损问题的时候。
最后为了规避上述问题，有没有可能既可以做到允许主机侧尽量自由摆放数据，同时有标准的软件生态呢？答案就是ZNS，它作为Open-Channel的下一代协议被提出来。ZNS协议由NVMe工作组提出，旨在：· 标准化Zone接口；· 减少设备端的写放大问题；· 更好配合上层软件生态；· 减少OP，节省客户成本；· 减少DRAM使用，毕竟DRAM在SSD中的成本举足轻重；· 增加带宽，减少时延。
那ZNS都说了什么？什么是Zone？以及它能否以及如何达成上述目标呢？
2.2 ZNS实现模型

Zoned Namespace NVME Spec起草作者和Open-Channel SSD Spec作者是同一人，两个标准有很大的相似性，所以ZNS可以说是Open-Channel的进化，是在Open-Channel基础上更加商业化和标准化的实现。

相对于传统的NVMe Namespace, Zoned Namespace将一个Namespace的逻辑地址空间切分成多个Zone。如下图所示，Zone是Namespace内的一种固定大小的子区间，每个Zone都有一段LBA(Logical Block Address, 逻辑地址空间)区间，这段区间只能顺序写，而且如果要覆盖写，则必须显示的进行一次擦除操作。这样，Namespace就可以把NAND内部结构的边界透露给主机，也就能够将地址映射表等内部管理工作交由主机去处理，从而减少写放大、选择合适的GC(Garbage Collection, 垃圾回收)时机。

Zone的基本操作有Read, Append Write，Zone Management 以及Get Log Page，如下图所示。Zone大小可以采用Open-Channel中Chunk的大小为单位，即与NAND介质的物理边界为单位。Zone Log Page也会与Open-Channel Spec 2.0中的Chunk Info Log相似。 Zone的基本操作
与Open-Channel相比，Zone的地址是LBA(Logical Block Address, 逻辑块地址)，Zone X的起始地址与Zone X-1的结束地址相连，Zone X的结束地址与Zone X+1的起始地址相连，Zone的容量总是小于等于Zone的逻辑大小。这样一来，Zone Namespace就可以避免Open-Channel里繁琐的各类地址转换。

Zone的大小和地址示意图

对比传统NVMe SSD，Zoned Namespace优点：
· 更高效的垃圾回收GC操作
机械硬盘中文件系统可以直接将新数据写入到旧数据存储的位置，可以直接覆盖旧数据。在固态硬盘中，如果想让某个存有无效数据的块写入新数据，就需要先把整个块擦除，才可以写入新的数据。固态硬盘并不具备直接覆盖旧数据的能力，所谓GC（垃圾回收）是指把目标擦除位置现存有效数据重新转移到其他闪存位置，然后把包括无效数据的该位置彻底擦除的过程。ZNS把LBA直接展示给上层应用，由上层应用来调度的GC操作，ZNS SSD由于Zone内顺序写、无覆盖写因此GC操作比Open Channel更高效可控, 从而性能也比较稳定。
· 延迟可预测
传统的NVMe SSD GC的时机和耗时对于应用是不可控的，ZNS读、写、擦和GC的实际完全由主机和应用掌控，相比于传统NVMe SSD延迟表现更稳定。
· 减少OP
传统NVMe SSD会预留一部分空间(Over Provisioning)用于垃圾回收GC和磨损均衡WL，通常OP空间占整个SSD容量的7-28%，OP空间对用户时不可见的。ZNS SSD有更高效的GC机制，除了保留极少量OP空间用于替换坏块，并没有其他会大量消耗NAND空间的情况，并且ZNS固件本身所需要的运行空间远低于传统NVMe SSD。
· 成本更低

ZNS的架构特点，导致可以使用更少的DRAM，以及更少的OP，因此相对传统NVMe SSD的成本有较大程度的降低。

最后，综上ZNS有着以上的理论优势，实测性能如何呢？如下图[1]，ZNS SSD由于Zone内顺序写、无覆盖写及可控的GC操作等特性，同样稳态满盘条件下，ZNS盘展现出的写性能和原始Host写数据带宽呈线性1:1关系，无由盘内数据搬移如垃圾回收导致的写性能损失。同时在线性增长的Host写数据带宽条件下（0-1GiB/s），ZNS SSD展现出可预测的读时延（线性增加）。ZNS vs 传统SSD展现的Raw IO特性
03、实例：Shannon Systems SP4

ZNS盘评测 SP4 ZNS SSD介绍

1) SP4 ZNS 固件特性：
Support 8 Open Zone
Support 4K over-write
Zone Index：Zone Capacity：8~9 GBActive Zone/Open Zone Number(max)：8Total Capacity：8 TB
2) FIO Benchmark* SP4 ZNS in FIO zbd mode; P5510 in FIO regular mode
结论：SP4 ZNS盘在FIO zbd模式下的性能测试，相比较于P5510传统盘模式下的测试，128K连续读性能基本相同，但128K连续写性能提升26%，4K随机读性能提升16%。SP4 ZNS vs P5510 QD1连续写时延对比SP4 ZNS vs P5510 QD1连续写99.99%时延对比

SP4 ZNS vs P5510 QD1随机读时延对比SP4 ZNS vs P5510 QD1随机读99.99%时延对比
结论：相比较P5510， SP4 ZNS盘连续写和随机读 QD1时延，不同的Sector Size下，均不同程度的大幅减少，例如128K QD1 99.99% QoS, 连续写是P5510的1/4, 随机读是P5510的1/3。同样8K/16K/32K/64K QD1 99.99% QoS对比参见如上图表。

04、ZNS生态探索：

RocksDB + ZenFS + ZNS SSD

1) 通用数据库引擎和NAND Flash物理特性的冲突
机械硬盘可以对一个块原地修改，但是NAND Flash因为使用寿命和物理特性的限制(块擦写次数寿命，块写前要先擦除)，需要最大限度均衡地写所有块，频繁读写Flash上的同一个块，会快速缩短这个块的寿命。基于这个原因，要求对NAND Flash上的块进行顺序写，即写完一个块后写下一个块。数据库存在很多频繁更新数据的场景，这些数据很多时候都会位于不同的块上，此时需要把要修改的块的数据拷贝出来，修改后写入一个新的块，并把旧块标记为可回收，这个Copy-Write Back过程会浪费性能。所以，一种符合闪存物理特性的数据库引擎对提升数据库和闪存性能很重要。
2) RocksDB一种专为闪存设计的数据库
针对闪存的物理特性，出现了一批新型数据库，知名度和使用最广泛的是RocksDB，从LevelDB发展而来的KV数据库。RocksDB特点是对于WAL日志只会append，对于已经落盘的数据文件不会修改，这是针对闪存特性做的设计。RocksDB存储结构 (来源[4])
RocksDB特点是数据先写内存的memtable，当memtable写满后会被锁定变成immutable memtable禁止修改，Flush线程会把immutable memtable刷到盘上。Rocksdb盘上文件是分层的，Level 0, Level 1…Level N, Level 0的文件最新，Level 1的次之，依次类推。
Compaction过程：参看上图，上层Level中sst文件数量达到指定数量，会执行压缩功能，把多个sst文件进行去旧压缩合并成新的sst文件并写入到下层Level，这些被合并的sst文件会被删除。
RocksDB的性能优化，一个memtable大小超过配置的write_buffer_size大小，会被标记为immutable memtable，当所有memtable包括immutable memtable数量达到max_write_buffer_number时，此时Rocksdb将会停止写入，直到Flush线程把immu memtable刷到disk后，写入才能继续。因此当通过iostat看到盘有较长空闲时间时，那么增大max_write_buffer_number减少盘的空闲时间，可降低写失速现象。
增加max_background_flushes刷盘线程数量也会提升写入速度。由于每次写操作都会先写wal日志，所以关闭wal对写性能有一定提升，但是会导致宕机后数据丢失的风险，一般wal都会开启。
增加compaction线程数量max_background_compactions可提升压缩sst文件速度。写盘速度造成Backpressure，当NVMe命令延迟过大会降低flush和compaction速度，从而会造成停止写memtable。
最后，CPU性能可能是影响读写性能的重要因素。
3) ZenFS为ZNS + RocksDB设计的用户态文件系统
ZenFS由Western Digital主导，ZenFS可以作为一个plugin编译进RocksDB，作为RocksDB的backend filesystem，封装对ZNS块设备的管理操作。ZenFS依赖libzbd管理和获取ZNS的Zone信息，读写块设备时通过pread、pwrite系统调用，并且专门针对ZNS实现了一个简易的用户态文件系统。ZenFS文件系统 (来源[5])
4) 性能对比

最后，给出一组RocksDB+ZenFS环境下实测数据[1]，当后台写无限制时，ZNS SSD写性能是传统盘的2倍；同样后台写无限制时，ZNS SSD 99.99%读时延是传统盘的1/4。RocksDB+ZenFS+ZNS SSD vs 传统盘性能对比

05、展望

当前ZNS应用生态仍然有较大优化空间，比如在对盘上数据组织方面，由于上层用户数据可能被覆盖写入，必然会出现ZenFS中的extent数据块变为无效，导致盘上Zone空间出现无效数据，虽然RocksDB通过Compaction可以丢弃无效数据，但这些无效数据在一段时间内占用了Zone空间，造成一定程度的空间放大。未来同对ZenFS数据管理逻辑的进一步优化，降低空间放大效应，对Compaction压力将会起到积极的作用。
对于Compaction过程，我们正在探索以Copyback方式实现数据直接在盘内转移，降低RocksDB的负载，提高用户数据的PCIe Bus传输效率。未来版本中，将尝试向ZNS设备中加入可变Zone Size的功能，以更好地迎合RocksDB的LSMT文件存储方式，低level的SST文件通常较少，适合放在Capacity较小的Zone，随着level增加，SST数据变得更多，则更适合放入Size更大的Zone。

ZNS的写入方式消除了盘上GC这一阻碍企业级SSD获得更好Latency QoS的主要障碍，有充足的理由对包括内核、文件系统、数据库等上层应用做更深入的优化。

如F2FS最初是为SMR HDD设计的基于ZBD设备的文件系统，其读写方式也有机会稍做修改，从而应用在ZNS设备上。又如业界已经提出并正在讨论的，将Zone与文件名做Mapping，使得RocksDB或类似数据库可以直接通过驱动访问Zone空间，直接在盘内索引文件，剥离文件系统这一层的Overhead。
另外通过从内核NVMe驱动导出专门的API，向应用直接暴露Zone空间，用户利用io_uring或SPDK等可以从内核态或用户态直接操作ZNS设备，向上提供更大的灵活性。
目前业界已经可以看到初具雏形的中间件产品，如xNVMe，这是一个IO Interface抽象层，提供了多种支持ZNS设备的内核IO Interface，包括Linux和Windows版本。开发者可以面向xNVMe提供的API进行上层应用开发，而不必关心设备访问实现细节，同时只要修改xNVMe配置即可实现不同操作系统的兼容。在xNVMe的基础上，以FlexAlloc作为Backend，向RocksDB提供对象分配器，使得RocksDB可以直接运行在ZNS裸设备上，相比目前商用SSD方案，有希望获得更好的性能体验。
来源：SSDFans

引用：

[1]《ZNS: Avoiding the Block Interface Tax for Flash-based SSDs》@USENIX ATC 2021

[2] SSDFans: 可可读OpenChannelSSD之六_从OpenChannelSSD到ZNS (ssdfans.com)

[3] SSDFans: 一张图了解Open-Channel SSD 2.0 (ssdfans.com)

[4] COONOTE: rocksdb原理与实现-菜鸟笔记 (coonote.com)

[5] CSDN: ZNS : 解决传统SSD问题的高性能存储栈设计（fs--＞io--＞device）_z_stand的博客-CSDN博客_ssd设计

全球智能驾驶公司列表

新增公司：Ottonomy

Robotaxi

美国:Waymo Cruise Aurora Argo Apple 丰田/Lyft Zoox Motional
中国:百度 Pony Weride 滴滴 Momenta 华为 AutoX 大疆元戎启行中智行小米/DeepMotion 未动科技云骥
欧洲:匈牙利Almotive 英国wayve 法国Navya 法国Easymile

无人配送+清扫+园区

配送:Nuro 达摩院京东美团新石器白犀牛行深智能西湖大学爱沙尼亚Starship 哈奇智能驭势 Yogo 一清创新易咖智车毫末坎德拉真机智能苏宁德邦深兰小狮科技智梭邮政联邦快递达美乐日本ZMP Marble Dispatch BoxBot Robby Domino Einride KiwiCampus 瑞士Teleretail Yandex Cleveron Kar-Go Postmates Gatik.ai 惠尔智能 Ottonomy
清扫:高仙酷哇智行者仙途深兰于万赛特智能真机智能小狮科技苏州风图中振同辂坎德拉浩睿智能宇通森源重工麦岩智能云洁科技城市之光云创智行等
园区:驭势清智科技轻舟商汤易成美国May-Mobility 美国Optimus-Ride 荷兰2getthere 美国Local-Motors

干线+车路协同+货运+矿区+港口+农场

车路协同：百度中智行蘑菇复睿智行星云互联卓视智通
干线:Aurora Embark 图森智加嬴彻飞步 Waabi Locomation 挚途主线希迪智驾牧月科技畅行智能环宇智行梵星VanShine 如果科技斯年 Waymo 小马滴滴 Deepway 擎天智卡千挂科技行猩科技 longdrive Kodiak Starsky 九识 ProntoAI 云骥寻序智能
城市货运：达摩院元戎启行文远 Udelv 前晨科技
矿区: 慧拓踏歌易控三一智矿跃薪智能西井伯镭路凯智行希迪盟识科技博雷顿徐工日立卡特彼勒小松沃尔沃特雷克斯别拉斯斯堪尼亚
港口:主线西井斯年飞步三一海工振华重工畅加风行中科云杉英国Aidrivers 元戎启行牧月经纬恒润友道智途等
农场:丰疆智能约翰迪尔洛阳一拖中联重机久保田博创联动井关农机疆驭农机雷沃重工中科原动力悟牛智能

造车新势力+领航辅助驾驶系统

中国：小鹏蔚来理想威马爱驰天际合众零跑云度新特合创华人运通极氪路特斯智己沙龙阿维塔恒大集度小米石头牛创滴滴宾理岚图飞凡
美国：特斯拉 Canoo Nikola River Fisker Lucid
科技公司：集度小米石头牛创科技 OPPO 滴滴
商用车：图灵重卡如果科技货拉拉前晨金琥
领航辅助驾驶系统：百度华为 Momenta 商汤大疆地平线轻舟智行者 Pony 文远禾多等。此领域近期入局不少，我后续再更新。

前装ADAS

OEM旗下:零束毫末福瑞泰克亿咖通雄狮科技中汽创智等
自主ADAS:东软易航恒润驭势知行欧菲光纵目纽劢禾多追势科技 Maxieye Minieye 奥特贝瑞宏景智驾魔视智能映驰科技创时智驾英博超算大轩科技鉴智等
外资ADAS:维宁尔博世大陆安波福采埃孚天合伟世通电装 Zenseact等
商用车ADAS:威伯科克诺尔清智所托瑞安名商科技等
前装DMS:采埃孚虹软科技地平线未动科技清研微视商汤鸿泉物联开易科技海康锐明中科创达瑞典SmartEye等

传统主机厂

欧洲:大众宝马奔驰奥迪沃尔沃 PSA 雷诺捷豹路虎菲亚特等
美国:通用福特克莱斯勒等
日本:丰田本田三菱日产等
韩国:现代起亚等
中国:上汽一汽东风长安北汽广汽吉利长城比亚迪奇瑞江淮五菱小康观致金康等
卡车:戴姆勒斯堪尼亚曼解放东风重汽福田等
客车:宇通金龙申沃等

其他机器人

扫地机器人:石头科技轻客小觅科沃斯女娲机器人天策机器人追觅科技等
巡检机器人：亿嘉和国自机器人国网智能新松机器人朗驰欣创苏京智能万为机器人申昊科技浙江大立超维科技璞数科技博众机器人松灵智行航天华拓科大智能清投智能眸视科技煜禾森科技南京聚特优必选沐点智能开诚智能安商智能盈能电气安森智能浙江大华思岚科技特斯联弗兰奇科技
仓储机器人:木蚁捷象灵越极智嘉灵动优艾智合斯坦德迦智科技九曜智能姜歌机器人等
餐饮服务：普渡
室内配送：优地科技
建筑机器人:博智林等

分割线：部件/图商/软件方案

视觉方案+图商+软件服务

视觉方案：Mobileye Maxieye Minieye 极目智能海康威视大华虹软科技商汤格林深瞳等
图商：Google Here 百度高德腾讯四维图新华为易图通+箩筐科技滴图时空道宇灵图(紫光摩视慧行) 晶众极奥千寻宽凳 DeepMap高深智图觉非科技中海庭宜高美埃洛克航空全道科技立得空间等
软件服务(仿真+云服务）：腾讯阿里华为沛岱汽车
OTA方案提供商：艾拉比科洛达木卫四

部件

芯片：Mobileye 英伟达特斯拉德仪TI 恩智浦高通英飞凌地平线华为黑芝麻赛灵思寒武纪行歌科技瑞萨意法半导体四维图新(视觉芯片) 芯驰安霸奕行智能曦华等
域控制器：德赛西威伟创力均胜领目科技创时金脉电子天准科技映驰华为MDC 百度IDG 宏景超星未来英博超算东软英恒福瑞泰克亿咖通联创博世大陆采埃孚安波福经纬恒润优控智行
摄像头：松下索尼大陆富士通麦格纳法雷奥日立海拉欧菲光同致辉创 OmniVision等

· 激光雷达：IBEO Quanergy Velodyne Cepton 加拿大Aeva(大陆可能收购） Luminar Ouster Innoviz 法雷奥速腾禾赛镭神智能一径科技大疆览沃华为 OryxVision LeddarTech 络微科技万集科技森思泰克探维科技洛微科技先锋 Innovusion 天眸光电

· 线控底盘: 易咖智车爱德克斯博世大陆天合布雷博采埃孚日立克诺尔万向钱潮万安科技亚太机电拿森伯特利捷太格特贵阳PIX Teemo天尚元智达同驭科技格陆博清智利氪

55家毫米波雷达公司简介

毫米波雷达国外20家：博世大陆汽车采埃孚安波福维宁尔电装法雷奥海拉 Metawave Echodyne Smartmicro Oculii Acconeer 现代摩比斯松下 Arbe Robotics Straradian Lunewave Zendar Waymo
毫米波雷达国内35家：川速微波理工雷科行易道隼眼科技凌波微步莫之比保隆科技纳雷科技纳瓦电子轩辕智驾承泰科技易来达卓影科技木牛科技森思泰克智波科技楚航科技莫吉娜安智杰苏州安智华域汽车德赛西威华为欧菲光大华股份珠海上富同致电子苏州毫米波雷博泰克电目科技慧尔视闻颂智能清雷科技大疆辉创为升科
超声波雷达：博世法雷奥台湾同致深圳航盛深圳豪恩日本村田(Murata) 日本尼赛拉(Nicera)等

烧完36亿，自动驾驶巨头突然倒下：员工遣散，车企转投辅助驾驶

这会是自动驾驶行业的重要转折点吗？

L4 和 L5 自动驾驶技术的研发被砍，本季度录得 27 亿美元资产减值，将专注于辅助驾驶技术——这是福特昨天在其最新财报中的陈述。

几年的热潮之后，各大车企和科技公司似乎已对自动驾驶的看法变得「现实」了，福特财报宣告了其重点投资的自动驾驶创业公司 Argo AI 走向终结，事发之后，社交网络上爆发了大量讨论：

Argo AI 的关闭是整个驾驶自动化技术领域的一个巨大转折点。

据知情人士透露，已接受数十亿美元投资的自动驾驶汽车初创公司 Argo AI 走向了终结——其部分业务正被主要资金提供者福特和大众两大车企吸收。

多个信息源表示，在本周三的一次全体会议上，Argo AI 员工被告知，一些人将收到两家汽车制造商的职位报价。目前尚不清楚福特或大众将雇用其中多少人，以及它们将获得哪些 Argo 的技术。

Argo 员工被告知将收到一份遣散费，其中包括保险和两份单独的奖金——年度奖金加上与福特和大众达成交易时的交易奖金。所有 Argo 员工都将收到补偿。对于那些未被福特或大众聘用的人，他们将获得额外的解雇和遣散费，包括健康保险。有几个人告诉 TechCrunch，这是一个慷慨的方案。在会议上，该公司的创始人直接与 2000 多名员工进行了交谈。

「在与我们的股东讨论后，我们最终决定 Argo AI 作为一家公司的使命不再延续。很多员工将有机会继续在福特或大众汽车的自动驾驶技术方面工作，而其他人的工作将不幸结束，」Argo 在一份声明中说道。

与此同时，福特在周三发布的第三季度收益报告中表示，其做出了一项战略决定，将资源转向开发先进的驾驶员辅助系统，放弃可应用于无人出租车的自动驾驶汽车技术。该公司表示，其对 Argo AI 的投资录得 27 亿美元的非现金税前减值，导致第三季度净亏损 8.27 亿美元。

Argo 无法吸引新投资者似乎是推动这一决定的原因。福特首席执行官 Jim Farley 承认，该公司原本预计到 2021 年就能将自动驾驶汽车技术广泛推向市场。

「但情况发生了变化，现在福特拥有一个重要的机会，把时间——这个现代生活中最有价值的东西提供给百万消费者，」Farley 说道。「对于福特来说，开发强大且具有差异化能力的 L2+ 和 L3 系统是至关重要的，它们也能让出行更安全。」

Farley 还暗示福特将购买自动驾驶技术，而不是自己内部做开发。「我们对 L4 ADAS 的未来持乐观态度，实现大规模盈利的全自动驾驶汽车还有很长的路要走，但我们不一定要自己创造这项技术」，Farley 说道。

福特还表示，开发团队和客户都对 L2+ 和 L3 ADAS 的优势都有着极大的热情，这将让福特公司近期有关目标如期实现。

Argo 的另一个主要投资者大众也表示将不再投资 Argo AI，并将利用其软件部门 Cariad 与博世一起推动高度自动化和自动驾驶的发展，未来还会与地平线公司合作。

另一家「规模较小」的网约车应用公司 Lyft 也持有 Argo 2.5% 的股份。Lyft 今年早些时候宣布，计划在未来五年内在迈阿密、奥斯汀等多个城市的网约车行业推出至少 1000 辆自动驾驶汽车。

Lyft 在一份声明中表示：「Argo 一直是一个很好的合作伙伴，Argo 的变动不会影响 Lyft 的自动驾驶战略。」除了 Argo，Lyft 还与自动驾驶技术公司 Motional 和 Waymo 建立了合作伙伴关系，Lyft 表示将继续与其他合作伙伴合作，推进自动驾驶技术的安全性和商业化。

Argo 是在 2016 年由 Bryan Salesky 和 Pete Rander 创立的，2017 年 2 月，福特宣布对其进行「5 年共 10 亿美元」的投资。在那之后，Argo 又成功融资超过 26 亿美元，主要来自大众。几年来，Argo 致力于开发、测试并最终将其自动驾驶系统商业化。

值得注意的是，福特的投资时机正是自动驾驶汽车行业新兴的阶段。当时自动驾驶行业出现了一波风险投资热潮，随后又引发了一系列的收购，包括通用汽车以 10 亿美元收购 Cruise；德尔福汽车，即现在的 Aptiv，以 4.5 亿美元收购了 nuTonomy；亚马逊收购了 Zoox。

事实证明，有关将自动驾驶技术商业化的承诺比预期的要困难得多。一波整合浪潮席卷了整个行业，公司纷纷倒闭，并被包括苹果在内的其他公司吸收。其他人则通过像 TuSimple 这样的传统 IPO 转向公开市场，或者通过像 Aurora 那样与一家特殊目的收购公司合并，希望获得继续执行任务所需的资金。

自动驾驶领域的「标杆公司」

人们有时会说，Argo 是自动驾驶领域里处于领先位置的公司，这让它的倒下给人一种难以言喻的感觉。

也不知道怎么把特斯拉排到最后的。

其实在过去一年中，Argo 在技术上取得了一系列进展。该公司的自动驾驶版福特 Fusion，以及新款福特 Escape Hybrid 经常在奥斯汀、底特律、迈阿密、Palo Alto 和匹兹堡的公共道路上进行测试。在欧盟，搭载 Argo 的是纯电大众 ID Buzz 面包车，它们在汉堡和慕尼黑进行测试项目。

Argo 还在奥斯汀、迈阿密和匹兹堡与 Lyft、沃尔玛和 412 Food Rescue 合作开展了几个试点项目。

就在上个月，该公司公布了一个旨在支持商业交付和自动驾驶出租车运营的产品和服务生态系统。这些产品——包括车队管理软件、数据分析、高清地图和基于云的通信工具——远远超出了自动驾驶系统的范畴，该系统允许车辆在没有人类驾驶员的情况下在城市街道上导航。Argo 似乎在告诉全世界它已经开始营业了。

「我们非常感谢 Argo AI 团队的奉献精神，并为我们共同取得的成就感到自豪，」Salesky 和 Rander 在一份声明中说。「我们团队的创新精神始终如一，我们期待每个人都能在未来取得成功，包括那些在福特和大众提供的自动驾驶技术工作岗位上的人。」

作为自动驾驶领域的「标杆」公司，Argo 一直被认为是业内的重量级玩家。早在 2017 年 2 月，福特就宣布将向硅谷自动驾驶创业公司 Argo 注资 10 亿美元。随后，福特欢迎外部资本进入的政策吸引了大众前来共同投资，后者在 2019 年投入 26 亿美元，获得半数股权，也帮助 Argo 估值升至百亿美元。

2021 年 7 月，Argo 又接受了 Lyft 数额未公布的投资，该公司最终的融资金额定格在 36 亿美元。

参考内容：

https://techcrunch.com/2022/10/26/ford-vw-backed-argo-ai-is-shutting-down/

https://www.reuters.com/business/autos-transportation/ford-reports-net-loss-decision-shift-spending-argo-ai-2022-10-26/