2017年7月23日
数据迁移过程中hive sql调优
摘要： 本文记录的是，在数据处理过程中，遇到了一个sql执行很慢，对一些大型的hive表还会出现OOM，一步一步通过参数的设置和sql优化，将其调优的过程。 先上sql 可以看到这个sql由1个join，一个去重语句，组成，这两种操作都是很耗费资源的。 1、对链接操作，小表放在链接左边。 这是一个老生常谈的 阅读全文
posted @ 2017-07-23 09:22 扎心了老铁 阅读(658) 评论(0) 推荐(1) 编辑