【存储】什么是纠删码(与纠错码的区别)|纠删码与副本对比|LDPC码
目录
什么是纠删码(与纠错码的区别)
存储领域来看,数据冗余机制其实这几十年来没有太多进展,RAID,副本一直是当仁不让的最终选择。而近几年,尤其是规模较大的应用场景下,纠删码越来越多的出现在选择的视野范围,成为RAID,副本之外的第三种选择,因此也获得了越来越多的关注。
纠删码(Erasure Code)本身是一种编码容错技术,最早是在通信行业解决部分数据在传输中损耗的问题,它的基本原理是把传输的信号分段,加入一定的校验再让各段间发生一定的联系,即使在传输过程中丢失掉部分信号,接收端仍然能通过算法把完整的信息计算出来。如果严格的区分,实际上按照误码控制的不同功能,可分为检错、纠错和纠删三种类型。
- 检错码仅具备识别错码功能 而无纠正错码功能;
- 纠错码不仅具备识别错码功能,同时具备纠正错码功能;<----与纠错码的区别
- 纠删码则不仅具备识别错码和纠正错码的功能,而且当错码超过纠正范围时,还可把无法纠错的信息删除。
Erasure Code(EC),即纠删码,是一种前向错误纠正技术(Forward Error Correction,FEC,说明见后附录),主要应用在网络传输中避免包的丢失, 存储系统利用它来提高存储可靠性。相比多副本复制而言, 纠删码能够以更小的数据冗余度获得更高数据可靠性, 但编码方式较复杂,需要大量计算 。纠删码只能容忍数据丢失,无法容忍数据篡改,纠删码正是得名与此。目前,纠删码技术在分布式存储 系统中的应用主要有三类,阵列纠删码(Array Code: RAID5、RAID6等)、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。
- RAID是EC的特殊情况。在传统的RAID中,仅支持有限的磁盘失效,RAID5只支持一个盘失效,RAID6支持两个盘失效,而EC支持多个盘失效。
- EC主要运用于存储和数字编码领域。例如磁盘阵列存储(RAID 5、RAID 6),云存储(RS)等。
- LDPC码也可以提供很好的保障可靠性的冗余机制。与RS编码相比,LDPC编码效率要略低,但编码和解码性能要优于RS码以及其他的纠删码,主要得益于编解码采用的相对较少并且简单的异或操作。LDPC码目前主要用于通信、视频和音频编码等领域。
FEC (前向错误纠正技术)介绍
在信息中按照某种规则加上一定的冗余位,构成一个码字,称为差错控制编码过程。在接收端接收到码字,或从存储设备中读取码字后,查看信息位和冗余位,并检查他们之间的关系是否正确,以确定是否有差错发生,称为校验。Forward Error Correction,FEC- 前向纠错编码技术通过在传输码列中加入冗余纠错码,在一定条件下,通过解码可以自动纠正传输误码。这种编码的译码设备较复杂。
除FEC之外,还有两种差错控制编码:Automatic repeat request(ARQ)检错重发(或自动请求重传),Hybrid Error Correction(HEC)混合纠错:
检错重发由发送端送出能够发现错误的码,接收端如果发现错误,通过反向信道把这一判决结果反馈给发送端。然后,发送端把接收端认为错误的信息再次重发。其特点是需要反馈信道,译码设备简单。
混合纠错是 ARQ和 FEC方式的混合。发送端同时送出具有检错和纠错能力的码,如果接收端收到信码在纠错能力以内,则自动进行纠正。如果超出纠错能力,则经过反馈信道请求发送端重发。
纠删码与副本对比
三副本和EC纠删码是分布式存储中常见的两种数据保护机制。由于EC纠删码存在比较严重的写放大问题,小块数据的写性能严重不足,通常仅适用于视频、备份、容灾等对IO性能要求不高的业务场景。在虚拟化、私有云、数据库等块存储场景,最常见的是三副本机制,即数据块按某种随机规则,保持在三个不同节点上的不同磁盘上。
链接:https://www.zhihu.com/question/449747044/answer/1919059927
3副本:4M对象
存储有效容量33.3%
写三副本,读主副本
纠删码:2+1:4K条带宽度,4M对象
存储有效容量66.7%
写所有分片,读k个分片
《》https://blog.csdn.net/qq43748322/article/details/121114894关于多副本和纠删码(一) --EC与多副本比较《》https://blog.csdn.net/qq43748322/article/details/121114894
参考资料: