摘要: 1.压缩/解压 /* 压缩:可以最小化所需要的磁盘存储空间,以及减小磁盘和网络I/O操作,但是文件压缩和解压过程会增加CPU开销。因此,对于压缩密集型的job最好使用压缩,特别是有额外的CPU资源或者磁盘存储空间比较稀缺的情况。 */ -- BZip2压缩率最高,但是消耗最多的CPU开销 -- GZ 阅读全文
posted @ 2019-08-22 17:18 行走的灵魂 阅读(347) 评论(0) 推荐(0) 编辑
摘要: 1.使用EXPLAN/EXPLAN EXTENDED查看执行计划 -- 待补充 2.本地模式 /* 有时候hive查询数据量是非常小的,这种情况下,为查询触发执行任务对的时间消耗有可能比实际job执行时间要多得多。对于大多数这种情况,Hive可以通过本地模式在单台机器上(或某些时候在单个进程中)处理 阅读全文
posted @ 2019-08-22 16:34 行走的灵魂 阅读(138) 评论(0) 推荐(0) 编辑