Hadoop中操作HDFS出现异常的解决方法
Hadoop环境搭建成功后,一般会运行一个小例子,这时候就涉及到了对HDFS文件系统的操作,对于刚开始学习Hadoop的初学者一般会多次的进行name节点的格式化操作,最后导致上传文件会抛出异常,通过jps命令查看会发现除了DataNode进程外其他进程都在正常运行,所以格式化只能进行一次,后续的集群启动或者操作均不需要格式化操作,具体解决方法如下:
首先保证没有重要数据的情况下彻底删除定义好的hadoop工作目录下的dfs、data、mapred这三个目录,删除之后重新格式化
hadoop namenode -format
然后分别执行stop-all.sh、start-all.sh重启集群即可,这个时候对HDFS文件系统的操作就正常了,运行jps可以查看到DataNode进程正常运行
另外还有修改节点id的方法来配置出问题的机器节点,操作比较复杂,适用于生产环境中节点问题的解决