2021年9月20日
彻底解决Hive小文件问题
摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 最近发现离线任务对一个增量Hive表的查询越来越慢，这引起了我的注意，我在cmd窗口手动执行count操作查询发现，速度确实很慢，才不到五千万的数据，居然需要300s，这显然是有问题的，我推测可能是有小文件。 我去hdfs目录查看了一下该 阅读全文
posted @ 2021-09-20 14:02 大数据技术派 阅读(4150) 评论(0) 推荐(0) 编辑