2019年1月8日
spark优化
摘要： spark合并小文件有两种办法,分别针对spark core和spark sql #######一、设置spark配置文件的属性(spark sql) spark.sql.shuffle.partitions example: SparkSession.builder().enableHiveSup 阅读全文
posted @ 2019-01-08 13:00 shenjie2017 阅读(3043) 评论(0) 推荐(0) 编辑
hive优化
摘要： --在Map-only的任务结束时合并小文件 SET hive.merge.mapfiles=TRUE; --在Map-Reduce的任务结束时合并小文件 SET hive.merge.mapredfiles=TRUE; set hive.map.aggr = true; set hive.grou 阅读全文
posted @ 2019-01-08 10:53 shenjie2017 阅读(381) 评论(0) 推荐(0) 编辑