MR案例：MR和Hive中使用Lzo压缩
在MapReduce中使用lzo压缩
1).首先将数据文件在本地使用lzop命令压缩。具体配置过详见配置hadoop集群的lzo压缩
//压缩lzop,解压缩lzop -d [root@ncst word]# lzop words.txt [root@ncst word]# ls words.txt words.txt.lzo
2).将lzo文件上传到hdfs
[root@ncst word]# hadoop fs -put words.txt.lzo /test/in/words/
[root@ncst word]# hadoop fs -ls /test/in/words
Found 1 items
-rw-r--r-- 1 root supergroup 115 2015-08-28 21:13 /test/in/words/words.txt.lzo
3).给Lzo文件建立索引Index(两种方式)
//单机版
[root@ncst word]# hadoop jar \ > /usr/local/hadoop/hadoop-2.2.0/share/hadoop/common/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar \ > com.hadoop.compression.lzo.LzoIndexer \ > /test/in/words
//集群版本 [root@ncst word]# hadoop jar \ > /usr/local/hadoop/hadoop-2.2.0/share/hadoop/common/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar \ > com.hadoop.compression.lzo.DistributedLzoIndexer \ > /test/in/words
//索引文件以.index结尾 [root@ncst word]# hadoop fs -ls /test/in/words Found 2 items -rw-r--r-- 1 root supergroup 115 2015-08-28 21:13 /test/in/words/words.txt.lzo -rw-r--r-- 1 root supergroup 8 2015-08-28 21:28 /test/in/words/words.txt.lzo.index
4).编写MapReduce程序(需要添加的额外包hadoop-lzo-0.4.13.jar)
package test0820; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.VLongWritable; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; import com.hadoop.compression.lzo.LzopCodec; import com.hadoop.mapreduce.LzoTextInputFormat; public class WordCount0826 { public static void main(String[] args) throws Exception { Configuration conf = new Configuration();
//GenericOptionsParser类的getRemainingArgs()方法作用是从命令行获取配置信息
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = Job.getInstance(conf); job.setJarByClass(WordCount0826.class); job.setMapperClass(IIMapper.class); job.setReducerClass(IIReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(VLongWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(VLongWritable.class);
//配置输入类型为Lzo job.setInputFormatClass(LzoTextInputFormat.class);
//配置reduce结果压缩以及压缩格式 FileOutputFormat.setCompressOutput(job, true); FileOutputFormat.setOutputCompressorClass(job, LzopCodec.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true)? 0:1); } //map public static class IIMapper extends Mapper<LongWritable, Text, Text, VLongWritable>{ @Override protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException { String[] splited = value.toString().split(" "); for(String word : splited){ context.write(new Text(word),new VLongWritable(1L)); } } } //reduce public static class IIReducer extends Reducer<Text, VLongWritable, Text, VLongWritable>{ @Override protected void reduce(Text key, Iterable<VLongWritable> v2s, Context context) throws IOException, InterruptedException { long sum=0; for(VLongWritable vl : v2s){ sum += vl.get(); } context.write(key, new VLongWritable(sum)); } } }
5).运行hadoop jar
[root@ncst test]# hadoop jar myjar.jar /test/in/words/ /test/out/0828/02
如若未在程序中配置输入和输出都为Lzo格式，可以在命令行通过 -D 开头的参数进行配置
hadoop jar myjar.jar \ -D mapred.reduce.tasks=2 \ -D mapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat \ -D mapred.output.compress=true \ -D mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec \ /test/in/words /test/out/0828/001
6).查看结果文件
[root@ncst test]# hadoop fs -ls /test/out/0828/001 Found 3 items -rw-r--r-- 1 root supergroup 0 2015-08-28 21:35 /test/out/0828/001/_SUCCESS -rw-r--r-- 1 root supergroup 61 2015-08-28 21:35 /test/out/0828/001/part-r-00000.lzo -rw-r--r-- 1 root supergroup 87 2015-08-28 21:35 /test/out/0828/001/part-r-00001.lzo
7).查看结果Lzo文件的内容(两种方式)
//以fs -get方式下载下来,再解压 [root@ncst test]# hadoop fs -get /test/out/0828/001 ~/out [root@ncst test]# cd ~/out
//lzop -d *.lzo 是解压lzo文件的命令
[root@ncst out]# lzop -d part-* [root@ncst out]# ls part-r-00000 part-r-00000.lzo part-r-00001 part-r-00001.lzo _SUCCESS
//利用fs -text 结合Linux的重定向 > 命令 [root@ncst test]# hadoop fs -text /test/out/0828/001/part-* > out.txt
//查看out.txt结果
[root@ncst test]# more out.txt hello 3 man 2 women 2 word 1 world 2
总结：
- lzo文件需要建立索引才能支持分块(split)。如果没有索引，lzo文件也是可以处理的，MapReduce会根据后缀名 “.lzo” 来对lzo文件解压，并且InputFormat也不需要特别指定，但是不支持分块，整个lzo文件只用一个map来处理。
- 对于输入文件为添加了索引的Lzo压缩文件，如若不在代码中指定 job.setInputFormatClass(LzoTextInputFormat.class); 则Mapreduce程序将会把索引文件.index也当作是数据文件！LzoTextInputFormat类需要引入相应的(hadoop-lzo-0.4.13.jar)包，如果你是使用Maven管理依赖，则需要在pom.xml文件中添加以下属性。
<dependency> <groupId>com.hadoop.gplcompression</groupId> <artifactId>hadoop-lzo</artifactId> <version>0.4.19</version> </dependency>
在Streaming程序中使用lzo压缩
把InputFormat设置为DeprecatedLzoTextInputFormat，还要设置参数 stream.map.input.ignoreKey=true。这样map的key值(key值是行在文件中的偏移量，value值是每行的文本)就不会传入reduce程序中，这个key值我们是不需要的。
hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-dev-streaming.jar -file /home/pyshell/map.py -file /home/pyshell/red.py -mapper /home/pyshell/map.py -reducer /home/pyshell/red.py -input /aojianlog/20120304/gold/gold_38_3.csv.lzo -output /aojianresult/gold38 -inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat //没有此选项,map作业也不会分片 -jobconf mapred.output.compress=true //指定reduce输出压缩 -jobconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec //没有此选项,reduce作业输出文件的格式为.lzo_deflate
在hive中使用lzo压缩
hadoop集群启用了Lzo压缩，就需要在Hive建表的时候指定压缩时所使用的编解码器，否则Hive无法正确读取数据。
1).Gzip和Bzip2由于是hadoop默认支持的，所以无需指定特殊的编解码器，只要指定Text类型即可。
create table lzo( id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;
2).LZO是外挂的第三方库，所以要指定输入和输出的编解码器。
create table lzo( id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';
3).对于Hive表的数据文件，用lzop在本地压缩好了，直接上传到hdfs上就可以了。
[root@ncst test]# lzop -v lzo compressing lzo into lzo.lzo
hive> load data local inpath '/root/test/lzo.lzo' > overwrite into table lzo;
hive> select * from lzo; OK Tie Coat Hat Scarf Time taken: 0.218 seconds, Fetched: 4 row(s)
4).对于已经存在的表修改为Lzo
alter table后对已经load进表中的数据，需要重新load和创建索引，要不还是不能分块。
ALTER TABLE things SET FILEFORMAT INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat" OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";
5).在做数据清洗的时候，假如源日志是lzo压缩的，输出的时候也希望使用lzo压缩。则在数据清洗的脚本中对hadoop的jobconf做一个指定。这样就可以做到，输入是lzo，输出也可以lzo。或者输入是text，输出是lzo。
-inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat -jobconf mapreduce.output.compress=true -jobconf mapreduce.output.compression.codec=com.hadoop.compression.lzo.LzopCodec
