摘要： 1.1 HDFS 1）HDFS 同样有block的概念，不过要大得多，默认64M。同样，HDFS上的文件也被划分为块大小的多个分块chunk，作为独立的存储单元。 2）HDFS中小于一个块大小的文件不会占据一个块的存储空间。 那么为什么HDFS中的块定义那么大呢，主要是为了最小化寻址开销。如果块设置的足够大，定位这个块的时间就会明显小于磁盘文件传输的时间，有利于提高系统的工作效率。 但分块也不能太大，否则如果任务数比节点少的话，作业速度反而会降低。 对分布式文件系统中的块进行抽象有很多好处： 1）存储的文件大小不受限制，可以大于系统中单个磁盘的大小。 2）简化了存储子系统的... 阅读全文