Hadoop I/O操作原理整理

I/O操作中的数据检查

　　校验和方式是检查数据完整性的重要方式。一般会通过对比新旧校验和来确定数据情况，如果两者不同则说明数据已经损坏。比如，在传输数据前生成了一个校验和，将数据传输到目的主机时再次计算校验和，如果两次的校验结果不同，则说明数据已经损坏。因为Hadoop采用HDFS作为默认的文件系统，因此具有两方面的数据完整性。

1、本地文件I/O的检查

　  本地文件系统的数据完整性由客户端负责，重点是在存储和读取文件时进行校验和的处理。每当Hadoop创建文件a时，Hadoop就会同时在同一文件夹下创建隐藏文件a.crc,这个文件记录了文件a的校验和。针对数据文件的大小，每512字节Hadoop就会生成一个32位的校验和(4字节）。

2、对HDFS的I/O数据进行检查

　　DataNode接收数据后，存储数据前。它接收数据一般有两种情况：一是用户从客户端上传数据；二是DataNode从其他DataNode上接收数据。Hadoop不会在数据每流动到一个DataNode时都检查校验和，它只会在数据流动到最后一个节点时检验校验和。

3、在MapReduce程序中使用压缩

　　设置Map处理后数据的压缩代码示例如下：

JobConf conf = new JobConf();
conf.setBoolean("mapred.compree.map.output",true);
//设置output输出压缩
conft.setBoolean("mapred.output.compress",true);
conf.setClass("mapred.output.compression.codec",GzipCodec.class,CompressionCodec.class);

4、数据的I/O中序列化操作

　　序列化是将对象转化为字节流的方法，或者说用字节流描述对象的方法。与序列化相对的是反序列化，反序列化是将字节流转化为对象的方法。序列化有两个目的：进程间通信；数据持久性存储。

Hadoop采用RPC来实现进程间通信，一般而言，RPC的序列化机制有以下特点：

　　紧凑：紧凑的格式可以充分利用带宽，加快传输速度。

　　快速：能减少序列化和反序列化的开销，这会有效减少进程间通信的时间。

　　可扩展：可以逐步改变。

　　在Hadoop中，并没有采用JAVA提供的序列化机制，而是自己重新写了一个序列化机制Writables。Writables具有紧凑、快速的优点。但不易拓展。

Text

 　　这是Hadoop中对string类型的重写，但是又与其有一些不同。Text使用标准的UTF-8编码，同时Hadoop使用变长类型VInt来存储字符串，其存储上线是2GB。Text类型与String类型的主要差别在于：

　　1、 Stirng的长度定义为String包含的字符个数；Text的长度定义为UTF-8编码的字节数。

　　2、String内的indexOf()方法返回的是char类型字符的索引。Text的find()方法返回的是字节偏移量。

　　3、String的charAt()方法返回的是指定位置的char字符；而Text的charAT()方法需要指定偏移量。

SequenceFile类

　　SequenceFile记录的是key/value对的列表，是序列化之后的二进制文件，因此是不能直接查看的。可通过:hadoop fs -text mySequenceFile查看

 

参考:《Hadoop实战》