lemon胡

2019年12月26日

摘要：出现的异常是：java.sql.SQLException: No suitable driver。是因为缺少mysql包：代码中： val alterDs: DataFrame = sparkSession.read.format("jdbc") .option("url", url) .opti 阅读全文

posted @ 2019-12-26 17:48 lemon胡阅读(4935) 评论(0) 推荐(0) 编辑

【异常】Caused by: java.lang.ClassNotFoundException: org.influxdb.InfluxDBFactory

摘要：提交Spark代码，去指定的application下查看logs下的stderr文件，提示：Caused by: java.lang.ClassNotFoundException: org.influxdb.InfluxDBFactory，这个类是java的类。那么就是spark的包中没有这个In 阅读全文

posted @ 2019-12-26 17:44 lemon胡阅读(734) 评论(0) 推荐(0) 编辑

【异常】kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries

摘要：遇到该错误主要有以下几种原因：1.服务器的zookeeper和kafka未开启2.配置文件中，没有配置advertised.host.name和advertised.port3.服务器防火墙未关闭，或者无法连接9092端口找到$KAFKA_HOME/config/server.properties 阅读全文

posted @ 2019-12-26 17:42 lemon胡阅读(1275) 评论(0) 推荐(0) 编辑

2019年12月25日

【异常】Unable to instantiate SparkSession with Hive support because Hive classes a

摘要：如果在本地windows测试的时候，不能加.enableHiveSupport()： val spark = SparkSession.builder() .master("") .appName("") .getOrCreate()访问的是本地的表，不能访问Hive表。如果想访问Hive表要加上阅读全文

posted @ 2019-12-25 17:52 lemon胡阅读(6813) 评论(2) 推荐(0) 编辑

【异常】RDD出现序列化异常Serialization stack: object not serializable (class: org.apache.hadoop.i

摘要：需要在代码中假如序列化配置，或者提交的时候假如序列化配置。比如： spark-shell --master local[2] --conf spark.serializer=org.apache.spark.serializer.KryoSerializer 或则： val sparkConf = 阅读全文

posted @ 2019-12-25 14:52 lemon胡阅读(1191) 评论(0) 推荐(0) 编辑

【异常】Spark UI界面异常、CRT不能退格/删除、不能查看DAG图、Windows系统下运行程序出错

摘要：目录一、IDEA运行Spark项目UI界面图片展示异常二、解决spark-shell中不能输入退格/删除，设置CRT 三、解决Spark的webUI不能查看DAG图四、Windows系统下运行hadoop、spark程序出错 1)Windows系统下运行hadoop、spark程序出错Coul 阅读全文

posted @ 2019-12-25 14:51 lemon胡阅读(593) 评论(0) 推荐(0) 编辑

【异常】java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1

摘要： java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1at org.apache.hadoop.hbase.util.Bytes.explainWrongLengt 阅读全文

posted @ 2019-12-25 14:46 lemon胡阅读(1172) 评论(0) 推荐(0) 编辑

【异常】Version information found in metastore differs 1.1.0 from expected schema version 1.2.0. Schema

摘要：运行Spark作业出现异常： ERROR ObjectStore: Version information found in metastore differs 1.1.0 from expected schema version 1.2.0. Schema verififcation is dis 阅读全文

posted @ 2019-12-25 14:44 lemon胡阅读(1589) 评论(0) 推荐(0) 编辑

2019年12月24日

【异常】javax.servlet.FilterRegistration"'s signer information does not match signer information of o

摘要：如果出现"javax.servlet.FilterRegistration"'s signer information does not match signer information of o“异常，就是jar包冲突，将使用的jar包优先放到pom的前面。阅读全文

posted @ 2019-12-24 22:52 lemon胡阅读(966) 评论(0) 推荐(0) 编辑

【异常】Exception in thread "main" java.lang.IllegalArgumentException: Illegal pattern c

摘要：在windows上执行的时候，option(“timestampFormat”, “yyyy/MM/dd HH:mm:ss ZZ”)必须带上，不然报错： Exception in thread "main" java.lang.IllegalArgumentException: Illegal pa 阅读全文

posted @ 2019-12-24 22:51 lemon胡阅读(2406) 评论(0) 推荐(0) 编辑

公告