HIVE客户端启动缓慢处理步骤
1、首先打开 hive DEBUG日志,执行以下命令,直接将日志输出到控制台
hive --hiveconf hive.root.logger=DEBUG,console
2、我们知道HIVE启动过程中,首先会先连接hive metastore,然后在连接HDFS namenode,我们可以根据日志时间点来判断和排查哪一步执行时间过长导致。
3、如果是hive metastore 连接过慢,我们可以登录到metastore机器上,通过执行如下命令来确认现在metastore的连接数
netstat -apn | grep 端口号 | wc -l
4、如果发现是metestore连接数过多则可以进行重启
特别需要注意的是:HiveServer2的长连接。
5、如果是namenode连接时间过长,我们需要检查NameNode的日志和状态,确保主namenode为active状态且服务正常,如果服务异常,比如发生了主备切换,则需要切换回来,
hdfs haadmin -failover 备 主
如果使用failover出现超时,则大概率是因为合并editlog, fsimage耗时非常久,直接导致active nn异常退出,所以通过直接kill掉active nn来实现切换。