HDFS中的文件中在物理上分块存储(df.blocksize) 默认大小2.x/3.x 128M,1.x 64M 寻址时间(找到目标block)为传输时间的1%时,为最佳状态 机械硬盘传输速率100M/s左右,固态硬盘200-300M/s(大厂256M)
Q:为什么块的大小不能设置太小,也不能设置太大? A:太小,会增加寻址时间 太大,传输时间会明显大于寻址时间,导致处理数据很慢
总结:HDFS块的大小设置主要取决于磁盘传输速率