hadoop核心-纠删码存储技术

1、纠删码存储技术

CDH6主要集成打包了Hadoop3，包括Hadoop3的一些新特性的官方支持，比如纠删码等。纠删码可以将HDFS的存储开销降低约50%，同时与三份副本策略一样，还可以保证数据的可用性。

副本方式：

默认情况下，HDFS的数据块都会保存三个副本。副本方式是一种容忍磁盘故障简单而有效的方法，但代价是额外的存储开销。

例如，对于较少访问的数据集，它们的第二个或者第三个副本会比较少访问，但是仍会消耗相同的存储空间。

纠删码：

纠删码是一种数据保护技术，通过在原始数据中加入新的校验数据，使得各个部分的数据产生关联性。在一定范围的数据出错情况下，通过纠删码技术都可以进行恢复。

它使用更少的存储却可以保证相同级别的容错，在典型配置下，与三副本方式相比，EC可以将存储成本降低约50%。

 缺点:计算开销需要一些时间。

 

2、CDH6.0集成纠删码

https://blog.csdn.net/Hadoop_SC/article/details/84592482