大数据常见问题

博主最近学习大数据时经常遇到一些重复的问题，尤其是环境方面导致的问题，这篇博文作为一个错误笔记来记录一些常见的问题。

 VMware虚拟机连接不上网络

报错原因：

未知

解决方案：

键盘打开：win + R，输入：services.msc ，启动VMware NAT Servise服务

 

 

HDFS上传文件时出错

报错信息：

ERROR: Cannot execute /home/snow/hadoop/hadoop-3.1.3/libexec/hadoop-config.sh.

原因：

/home/snow/hadoop并不是真的文件路径，可能是HADOOP_HOME全局变量导致的问题，

在/etc/profile中找到了这个全局变量，将其删除

运行了source /etc/profile后，发现调用env仍然能看到这个定义

解决方案：

通过unset HADOOP_HOME将其清除

unset HADOOP_HOME

 

 

Hive连接不上HDFS

报错信息：

Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/atguigu/1a6a48b6-1d6c-440f-b75e-65f613a596aa. Name node is in safe mode.
The reported blocks 721 needs additional 6 blocks to reach the threshold 0.9990 of total blocks 728.

解决方案：

namenode处于安全模式，导致无法更改数据，关闭即可

hadoop dfsadmin -safemode leave

 

KYLIN启动失败

报错信息：

Failed to find metadata store by url: kylin_metadata@hbase

原因：

大概是由于 Hbase和自带的Zookeeper 数据不同步导致的，hbase中明明没表，zk中记录却有，所以kylin无法创建表。

 解决方案：

hbase自带的zookeeper有zkcli功能可以进去删除。

(1) 进入zookeeper/bin运行zkCli.sh模式 (如果是用hbase自带的zk可以执行指令： hbase zkcli )
(2) ls /hbase/table命令查看是否有bigdata这个表
(3) 使用rmr /hbase/table/kylin_metadata命令删除表
(4) 重启Hbase

问题解决