2019年10月18日
spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem
摘要： 序列化问题多事rdd遍历过程中使用了没有序列化的对象。 1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。 2.常量定义里包含了未序列化对象 ，提出去吧 如下常量要放到main里，不能放到rdd的遍历中。 阅读全文
posted @ 2019-10-18 18:21 ~清风煮酒~ 阅读(1933) 评论(0) 推荐(0) 编辑
spark sql error mismatched input 'union' expecting { <EOF>,''................................
摘要： 给union的前后sql加括号就可以解决 阅读全文
posted @ 2019-10-18 18:03 ~清风煮酒~ 阅读(9217) 评论(0) 推荐(0) 编辑