摘要: 1、limit限制调整 一般情况下,Limit语句还是需要执行整个查询语句,然后再返回部分结果。 有一个配置属性可以开启,避免这种情况 对数据源进行抽样 hive.limit.optimize.enable=true 开启对数据源进行采样的功能 hive.limit.row.max.size 设置最 阅读全文
posted @ 2018-10-22 11:32 老白条 阅读(1383) 评论(0) 推荐(0) 编辑
摘要: hive之于数据民工,就如同锄头之于农民伯伯。hive用的好,才能从地里(数据库)里挖出更多的数据来。 用过hive的朋友,我想或多或少都有类似的经历:一天下来,没跑几次hive,就到下班时间了。 hive在极大数据或者数据不平衡等情况下,表现往往一般,因此也出现了presto、spark-sql等 阅读全文
posted @ 2018-10-22 11:32 老白条 阅读(451) 评论(0) 推荐(0) 编辑