2019年12月25日
【异常】Unable to instantiate SparkSession with Hive support because Hive classes a
摘要： 如果在本地windows测试的时候，不能加.enableHiveSupport()： val spark = SparkSession.builder() .master("") .appName("") .getOrCreate()访问的是本地的表，不能访问Hive表。 如果想访问Hive表要加上 阅读全文
posted @ 2019-12-25 17:52 lemon胡 阅读(6696) 评论(2) 推荐(0) 编辑
【异常】RDD出现序列化异常Serialization stack: object not serializable (class: org.apache.hadoop.i
摘要： 需要在代码中假如序列化配置，或者提交的时候假如序列化配置。 比如： spark-shell --master local[2] --conf spark.serializer=org.apache.spark.serializer.KryoSerializer 或则： val sparkConf = 阅读全文
posted @ 2019-12-25 14:52 lemon胡 阅读(1156) 评论(0) 推荐(0) 编辑
【异常】Spark UI界面异常、CRT不能退格/删除、不能查看DAG图、Windows系统下运行程序出错
摘要： 目录 一、IDEA运行Spark项目UI界面图片展示异常 二、解决spark-shell中不能输入退格/删除，设置CRT 三、解决Spark的webUI不能查看DAG图 四、Windows系统下运行hadoop、spark程序出错 1)Windows系统下运行hadoop、spark程序出错Coul 阅读全文
posted @ 2019-12-25 14:51 lemon胡 阅读(554) 评论(0) 推荐(0) 编辑
【异常】java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1
摘要： java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1at org.apache.hadoop.hbase.util.Bytes.explainWrongLengt 阅读全文
posted @ 2019-12-25 14:46 lemon胡 阅读(1138) 评论(0) 推荐(0) 编辑
【异常】Version information found in metastore differs 1.1.0 from expected schema version 1.2.0. Schema
摘要： 运行Spark作业出现异常： ERROR ObjectStore: Version information found in metastore differs 1.1.0 from expected schema version 1.2.0. Schema verififcation is dis 阅读全文
posted @ 2019-12-25 14:44 lemon胡 阅读(1556) 评论(0) 推荐(0) 编辑