hadoop block大小为128的原因

1.减轻了namenode的压力
原因是hadoop集群在启动的时候,datanode会上报自己的block的信息给namenode。namenode把这些信息放到内存中。那么如果块变大了,那么namenode的记录的信息相对减少,所以namenode就有更多的内存去做的别的事情,使得整个集群的性能增强。
2.增大会不会带来负面相应。
因为这个可以灵活设置,所以这里不是问题。关键是什么时候,该如何设置。
如果对于数两级别为PB的话,建议可以block设置的大一些。
如果数据量相对较少,可以设置的小一些64M也未尝不可。
负面效应,如果网络环境不好,可能会造成重新传输。
3.如果寻址时间约为10ms,而传输速率为100mb/s,为了使寻址时间仅占传输时间的64m。
posted @ 2018-02-02 09:19  一只宅男的自我修养  阅读(1526)  评论(0编辑  收藏  举报