随笔档案「2022年9月」 - 再美不及姑娘你

09 2022 档案

Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

摘要：问题出现原因：这个错误是因为hive的map join参数默认是开启的： hive.auto.convert.join=true使用hive进行map join时，节点内存不够就会报该类型错误。 MapJoin是指在Map 端进行join，其原理是broadcast join，即把小表作为一个完阅读全文

posted @ 2022-09-21 17:15 再美不及姑娘你阅读(3357) 评论(1) 推荐(1)

关于sparksql调优的一些操作

摘要：1、查看执行计划 1、直接sql查看: explain select ... from ... 2、ds.explain()2、执行计划的处理流程 sql代码 -> 未决断的逻辑执行计划 -> 根据元数据生成已决断的逻辑执行计划 -> 生成物理执行计划 -> 模型评估 -> 选择物理执行计划 -> 阅读全文

posted @ 2022-09-21 11:21 再美不及姑娘你阅读(2636) 评论(0) 推荐(0)