@malloc

导航

2019年6月18日 #

SparkSQL调优

摘要： 1、执行计划（过往记忆https://www.iteblog.com/archives/2562.html） 2、逻辑计划优化方法： 谓词下推，列裁剪，常量替换，常量累加 3、优化方法 数据源方面： 1、hive 使用parquet格式，不要用textfile。列式存储便于查询引擎做谓词下推、更优的 阅读全文

posted @ 2019-06-18 22:47 malloc+ 阅读(4076) 评论(0) 推荐(0) 编辑

HIVE函数

摘要： 1、日期函数 2、表生成函数 二、窗口函数（https://blog.csdn.net/yangshaojun1992/article/details/84074863） 阅读全文

posted @ 2019-06-18 16:26 malloc+ 阅读(247) 评论(0) 推荐(0) 编辑