spark-sql 启动客户端报错问题

1.spark-sql启动报错

java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
原因:在启动时 找不到tez的jar包
解决方法:将tez目录下的tez-api-0.9.1.jar 复制一份到 spark的jars目录下
cp tez-api-0.9.1.jar /usr/hdp/current/spark2-client/jars/
分发到其他集群

2.解决上面的问题之后 又报了一个错

java.lang.NoClassDefFoundError: org/apache/tez/mapreduce/hadoop/MRHelpers
原因:和上面的问题一样 都是累找不到异常 找不到tez目录下的MapReduce jar包
解决方法:将tez目录下的tez-mapreduce-0.9.1.jar 复制一份到 spark的jars目录下
cp tez-mapreduce-0.9.1.jar /usr/hdp/current/spark2-client/jars/
分发到其他集群

3. 又报了一个错

org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration
原因:hadoop运行时 找不到tez的配置文件 tez-site.xml
解决方法:将hive/conf/ 目录下的tez-site.xml 放到hadoop的配置目录下
cp tez-site.xml /usr/hdp/current/hadoop-client/conf

之后运行正常

4.在hive中执行查询语句时 报了一个错

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
原因:没有jar包 但是该错误不影响使用
在新版本当中 使用了slf4j的jar 不再使用log4j

posted @ 2023-05-11 15:04  whiteY  阅读(191)  评论(0)    收藏  举报