Hadoop之HDFS的block、packet、chunk

HDFS中的block、packet、chunk

Block
HDFS中的文件在物理上是分块存储的，即分成Block；
block在Hadoop不同版本大小不同：

• Hadoop1.x：64M
• Hadoop2.x：128M

HDFS块从64M升级后改为128M的原因

Packet
Packet是Client端向Dataode，或者DataNode的PipLine之间传输数据的基本单位，默认64kB.

Chunk
Chunk是最小的Hadoop中最小的单位，是Client向DataNode或DataNode的PipLne之间进行数据校验的基本单位，默认512Byte,因为用作校验(自己校验自己)，故每个chunk需要带有4Byte的校验位。
所以世纪每个chunk写入packet的大小为526Byte，真实数据与校验值数据的比值为128:1。