Hadoop（十一）Hadoop IO之序列化与比较功能实现详解

阅读目录(Content)

前言

　　上一篇给大家介绍了Hadoop是怎么样保证数据的完整性的，并且使用Java程序来验证了会产生.crc的校验文件。这一篇给大家分享的是Hadoop的序列化！

回到顶部(go to top)

一、序列化和反序列化概述

1.1、序列化和反序列化的定义

　　1）序列化：将结构化对象转换为字节流的过程，以便在网络上传输或写入到磁盘进行永久存储的过程。
　　2）反序列化：将字节流转回一系列的相反过程结构化对象。

　　注意：其实流就是字节数组，我们把数据转变成一系列的字节数组（0101这样的数据）

1.2、序列化和反序列化的应用

　　1）进程间的通信

　　2）持久化存储

1.3、RPC序列化格式要求

　　在Hadoop中，系统中多个节点上进程间的通信是通过“远程过程调用（RPC）”实现的。RPC协议将消息序列化成二进制流后发送到远程节点，远程节点

　　将二进制流反序列化为原始信息。通常情况下，RPC序列化格式如下：

　　　　1）紧凑（compact）

　　　　　　紧凑格式能充分利用网络带宽。

　　　　2）快速（Fast）

　　　　　　进程间通信形成了分布式系统的骨架，所以需要尽量减少序列化和反序列化的性能开销，这是基本..最基本的。

　　　　3）可扩展（Extensible）

　　　　　　为了满足新的需求，协议不断变化。所以控制客户端和服务器的过程中，需要直接引进相应的协议。

　　　　4）支持互操作（Interoperable）

　　　　　　对于某些系统来说，希望能支持以不同语言写的客户端与服务器交互，所以需要设计需要一种特定的格式来满足这一需求。

回到顶部(go to top)

二、Hadoop中和虚序列化相关的接口和类

　　在Java中将一个类写为可以序列化的类是实现Serializable接口

　　在Hadoop中将一个类写为可以序列化的类是实现Writable接口，它是一个最顶级的接口。

1.1、Hadoop对基本数据类型的包装

　　Hadoop参照JDK里面的数据类型实现了自己的数据类型，Hadoop自己实现的原理会使数据更紧凑一些，效率会高一些。序列化之后的字节数组大小会比

　　JDK序列化出来的更小一些。

　　所有Java基本类型的可写包装器，除了char（可以是存储在IntWritable中）。所有的都有一个get（）和set（）方法来检索和存储包装值。　　

　　Java中的String对应着Hadoop中的Text，Text可以存储2G的字符串大小。

1.2、Writable接口

　　1）Writable接口概述

　　2）接口中的方法

　　　　Writable接口定义了两个方法：

　　　　　　一个将其状态写到DataOutput二进制流，另一个从DataInput二进制流读取状态。

　　3）API中Writable接口的例子：　　　

 public class MyWritable implements Writable {
       // Some data     
       private int counter;
       private long timestamp;
       
       public void write(DataOutput out) throws IOException {
         out.writeInt(counter);
         out.writeLong(timestamp);
       }
       
       public void readFields(DataInput in) throws IOException {
         counter = in.readInt();
         timestamp = in.readLong();
       }
       
       public static MyWritable read(DataInput in) throws IOException {
         MyWritable w = new MyWritable();
         w.readFields(in);
         return w;
       }
     }

　　思考：在Java中已经有序列化和反序列化相关的类和方法，为什么Hadoop还要去自己设计一套呢？

　　　　因为Hadoop认为Java设计的序列化和反序列化相关的类和方法性能不够好，效率太低了。所以就自己设计一套。

　　4）Writable的继承关系