随笔分类 - Hadoop

hadoop_随笔二_参数

摘要：1） dfs.datanode.handler.count ： datanode上用于处理RPC的线程数。默认为3，较大集群，可适当调大些，比如8。需要注意的是，每添加一个线程，需要的内存增加。 2）tasktracker.http.threads： HTTP server上的线程数。运行在每个Ta 阅读全文

posted @ 2018-12-14 15:01 xiaoliwm 阅读(76) 评论(0) 推荐(0) 编辑

随笔一

摘要：NameNode: 只有在NameNode重启时，edit logs才会合并到fsimage文件中，从而得到一个文件系统的最新快照。但是在产品集群中NameNode是很少重启的，这也意味着当NameNode运行了很长时间后，edit logs文件会变得很大. Secondary NameNode: 阅读全文

posted @ 2018-12-11 17:10 xiaoliwm 阅读(134) 评论(0) 推荐(0) 编辑