摘要: 副本数由客户端的参数dfs.replication决定(优先级: conf.set > 自定义配置文件 > jar包中的hdfs-default.xml)如果前两个都没有,就用最后一个jar包中的,默认是3 服务器的那个配置只有在服务器用命令行上传东西的时候才用到那个参数 阅读全文
posted @ 2018-09-21 21:34 wmxl 阅读(512) 评论(0) 推荐(0) 编辑
摘要: 红色方框的部分,代表Hadoop系统,人工设定的文件备份数,但不是实际的备份数。文件备份数 不会大于集群机器的总数目(因为备份文件不会同时存在一台机器上,这样就没有意义),所以如果总集群数目是2,即使Replication设置成了3,也只有2个文件备份数。 不过当这时候增加一台新的datanode时 阅读全文
posted @ 2018-09-21 16:07 wmxl 阅读(249) 评论(0) 推荐(0) 编辑
摘要: start-dfs.sh 只启动namenode 和datanode, start-all.sh还包括yarn的resourcemanager 和nodemanager 之前就所以因为只启动了start-dfs.sh,导致wordcount的那个例子没跑成功。 下回记得一定要启动 start-all 阅读全文
posted @ 2018-09-21 00:35 wmxl 阅读(6533) 评论(0) 推荐(0) 编辑