hive解决小文件过多的问题
摘要：
针对小文件问题，一般可以再采集端（flume）进行合并，后期的话可以针对如下方式进行解决： 相比map个数的控制复杂性，reduce个数的设定要相对简单多了，reduce的个数一般最后决定了输出文件的个数， 二者相等，如果想多输出文件的个数（这样文件变小，但有可能程序变慢），那么可以人为增加redu 阅读全文
posted @ 2021-08-26 15:58 RICH-ATONE 阅读(1337) 评论(0) 推荐(0) 编辑
