03. HDFS文件块大小(面试重点)

HDFS中的文件中在物理上分块存储(df.blocksize)
默认大小2.x/3.x 128M,1.x 64M
寻址时间(找到目标block)为传输时间的1%时,为最佳状态
机械硬盘传输速率100M/s左右,固态硬盘200-300M/s(大厂256M)

Q:为什么块的大小不能设置太小,也不能设置太大?
A:太小,会增加寻址时间
太大,传输时间会明显大于寻址时间,导致处理数据很慢

总结:HDFS块的大小设置主要取决于磁盘传输速率

posted @ 2021-12-12 15:17  yjyww  阅读(241)  评论(0编辑  收藏  举报