sql 加工后--小文件解决方案

 10.24.8.5
# 切换用户
su - hive
 
# 查看表文件
[hive@hadoop-0001 ~]$ hdfs dfs -ls /user/hive/warehouse/bibase.db/
 
# 查看某一张表磁盘上的小文件
[hive@hadoop-0001 ~]$ hdfs dfs -du -h /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part
17.4 M  52.1 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000000_0
17.4 M  52.2 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000001_0
17.4 M  52.2 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000002_0
17.4 M  52.1 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000003_0
17.4 M  52.1 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000004_0
17.4 M  52.1 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000005_0
17.4 M  52.2 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000006_0
17.4 M  52.2 M  /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000007_0
 
# 解决办法
# 在sql语句前面设置参数 将小文件合并为256M大小的文件
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;

posted @ 2022-12-26 16:06 jsqup 阅读(20) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· hive面试题

· 3.动态分区的解决方案(将配置文件改成清洗昨天的数据)_将数据导入hive中_项目一

· Hive 在工作中的调优总结

· Spark-Sql Hint 解决小文件导致查询慢的问题

· Hive Sql

阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配，妙~啊~
· .NET Core 中如何实现缓存的预热？

公告

昵称： jsqup
园龄： 3年7个月
粉丝： 2
关注： 0

+加关注

2025年3月

日

一

二

三

四

五

六

随笔分类

随笔档案

阅读排行榜

评论排行榜

1. java9新特性(1)

jsqup

sql 加工后--小文件解决方案

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

	10.24.8.5
	# 切换用户
	su - hive

	# 查看表文件
	[hive@hadoop-0001 ~]$ hdfs dfs -ls /user/hive/warehouse/bibase.db/

	# 查看某一张表磁盘上的小文件
	[hive@hadoop-0001 ~]$ hdfs dfs -du -h /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part
	17.4 M 52.1 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000000_0
	17.4 M 52.2 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000001_0
	17.4 M 52.2 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000002_0
	17.4 M 52.1 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000003_0
	17.4 M 52.1 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000004_0
	17.4 M 52.1 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000005_0
	17.4 M 52.2 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000006_0
	17.4 M 52.2 M /user/hive/warehouse/bibase.db/bs_user_annual_report_consume_part/000007_0

	# 解决办法
	# 在sql语句前面设置参数将小文件合并为256M大小的文件
	set hive.merge.mapfiles=true;
	set hive.merge.mapredfiles=true;