2015年2月22日

FileOutputFormat

摘要： TextOutputFormat 默认输出字符串输出格式；SequenceFileOutputFormat 序列化文件输出；MultipleOutputs 可以把输出数据输送到不同的目录；下面我们以分析FileOutputFormat为例，得到一些启迪，来满足我们的某些需要，如修改keyvalue的... 阅读全文

posted @ 2015-02-22 21:30 tneduts 阅读(486) 评论(0) 推荐(0) 编辑

Combine small files to Sequence file

摘要： Combine small files to sequence file or avro files are a good method to feed hadoop. Small files in hadoop will take more namenode memory resource. SequenceFileInputFormat 是一种Key value 格式的文件格式。 Key... 阅读全文

posted @ 2015-02-22 11:05 tneduts 阅读(378) 评论(0) 推荐(0) 编辑

导航