2020年3月25日
记一次--------sparkSQL程序local模式运行不起来，增加参数配置spark.locality.wait
摘要： 问题： 跑本地模式 一直卡在下图最下面日志部分30分钟不动 查看运行日志一直卡在 箭头处不动，没有任何报错。 因为处理逻辑只是简单的sparksql两个表left join， union， having等简单的函数操作。 测试环境 数据仅有3w条。 虽然将程序打包到集群，但还是跑的local模式， 阅读全文
posted @ 2020-03-25 22:50 二黑诶 阅读(1387) 评论(0) 推荐(0) 编辑
记一次--------spark.driver.host参数报错问题
摘要： 报错日志： 20/03/25 10:28:07 WARN UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.spark.SparkException: Exception t 阅读全文
posted @ 2020-03-25 22:45 二黑诶 阅读(5021) 评论(3) 推荐(0) 编辑