2017年4月19日
hadoop spark合并小文件
摘要： 一.输入文件类型设置为 CombineTextInputFormat hadoop spark （hadoop2.7及其以上版本有这个类，虽然2.6也可能用这个类，但不兼容，会出一些bug导致任务失败；或者直接就报错找不到类） 二.再配置以下参数： （如果设置了CombineTextInputFor 阅读全文
posted @ 2017-04-19 10:46 Nucky_yang 阅读(9251) 评论(0) 推荐(0) 编辑