在Hadoop集群使用初期,我所遇到的问题如下:
1. 需要不定时的改动配置文件
2. 不止一次的格式化集群
3. 恢复之后datanode失效了
4. 时间超过了7天,日志消失,又导致集群崩坏
解决思路:
1. 首先格式化集群之前要确保集群的进程停掉
2. 删除每个节点hadoop下的 data 和 logs文件夹(每个节点都要删除)
3. 格式化之后datanode失效的原因是Version中的内容与之前的不对应,暴力解决方法,删除原来的文件夹
4. 文件夹位置在hdfs-site.xml文件的,记住删除,格式化后重新启动集群,他会自动生成
<property> <name>dfs.datanode.data.dir</name> #删除这些文件夹,格式化后让他重新生成 <value>file:///hd1/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3</value> </property>
5. 七天删除日志文件设置:yarn-site.xml 中设置不让删除
<!-- 日志保留时间-1不删除 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>-1</value> </property>