大数据学习-遇到问题整理

1.DataNode无法启动（其他服务完全正常）

这一般是因为NameNode和DataNode的namespaceID不一致，产生原因一般是由于两次或两次以上的格式化NameNode造成的。

我出现这个问题的场景是用一个新机器重新配置并替换掉了原来的NameNode，初始化后就出现了这个问题

有两种方法可以解决

①删除DataNode版本文件然后重新NameNode格式化

[hadoop@Slave1 hadoop]$ cd /usr/local/hadoop/ #hadoop安装目录
[hadoop@Slave1 hadoop]$ rm tmp/dfs/data/current/VERSION

 

②修改每个DataNode的namespaceID（位于Hadoop安装目录/tmp/hdfs/data/current/VERSION文件中）或修改NameNode的namespaceID,使其一致。

---

2.System times on machines may be out of sync

时间未同步

解决方法就是在NameNode上重设时间

date -s "2016-10-11 12:00:00" #设成当前时间即可

 

---

 3.找不到类class org.apache.sqoop.Sqoop 或【Error: Could not find or load main class org.apache.sqoop.Sqoop】

方法①：将sqoop-x.x.x.jar文件拷贝到$HADOOP_HOME/lib 目录。如果方法①不起作用，则可以试试方法②

方法②：修改 $SQOOP_HOME/bin/sqoop 脚本：

exec ${HADOOP_COMMON_HOME}/bin/hadoop org.apache.sqoop.Sqoop "$@"

                             ↓↓↓

exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-x.x.x.jar org.apache.sqoop.Sqoop "$@"

来源：找不到类class org.apache.sqoop.Sqoop

---