HDFS-NameNode Tuning: dfs.namenode.handler.count: NameNode可开启的thread number,thread为从NameNode到DataNode的RPC请求。Default值为30(CM,Non CM is 10)。推荐设置为集群node数量 Read More
posted @ 2016-09-29 22:53 软件心理学工程师 Views(609) Comments(0) Diggs(0) Edit
涉及到一些关于硬件的东西,我也不是很懂,记录下来有待以后学习。 Hadoop集群一般都是由小到大,刚开始可能只有4到6个节点,随着存储数据的增加,计算量的增大,内存需求的增加,集群慢慢变大。 比如按照数据存储量增大集群,每个星期数据存储3TB数据,HDFS的block备份数为3,则集群就需要9TB的 Read More
posted @ 2016-09-29 21:46 软件心理学工程师 Views(415) Comments(0) Diggs(0) Edit
Services:Haddoop cluster上可以部署的组件,比如HDFS,YARN,HBase等。 Roles:在service配置时,由Cloudera Manager创建。比如NameNode是HDFS service的一个role。 Role Group:对Role的管理,可以将相同类别 Read More
posted @ 2016-09-29 21:07 软件心理学工程师 Views(366) Comments(0) Diggs(0) Edit