2015年8月29日
MR案例：输出/输入SequenceFile
摘要： SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。在SequenceFile文件中，每一个key-value对被看做是一条记录(Record)，基于Record的压缩策略，SequenceFile文件支持三种压缩类型：NON... 阅读全文
posted @ 2015-08-29 18:44 skyl夜 阅读(4174) 评论(0) 推荐(1) 编辑
MR案例：小文件合并SequeceFile
摘要： SequeceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将对序列化到文件中。可以使用这种文件对小文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。这种文件格式有以下好处：1). 支持压缩，且可定制为基于Record或Block压缩（Block级压... 阅读全文
posted @ 2015-08-29 18:35 skyl夜 阅读(1621) 评论(0) 推荐(0) 编辑