会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Shydow
博客园
首页
新随笔
联系
订阅
管理
2021年11月26日
Hadoop小文件影响及解决
摘要: 一、小文件产生的原因 当文件的大小远远小于HDFS block块的大小(hadoop2:128m)就可以当作是一个小文件;具体产生的原因包括一下: 1)实时计算时,如果窗口开的小,在hdfs上会产生很多小文件 2)离线计算,批处理时,在spark或者mr时,没有设置好partition或者reduc
阅读全文
posted @ 2021-11-26 15:14 Shydow
阅读(1169)
评论(0)
推荐(0)
编辑
公告