Kafka 序列化和反序列化

序列化

生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给 Kafka。而在对侧，消费者需要用反序列化器（Deserializer）把从 Kafka 中收到的字节数组转换成相应的对象。

消息的 key 和 value 都使用字符串，对应程序中的序列化器也使用了客户端自带的 org.apache.kafka.common.serialization.StringSerializer，除了用于 String 类型的序列化器，还有 ByteArray、ByteBuffer、Bytes、Double、Integer、Long 这几种类型，它们都实现了 org.apache.kafka.common.serialization.Serializer 接口，此接口有3个方法：

 public void configure(Map<String, ?> configs, boolean isKey)
public byte[] serialize(String topic, T data)
public void close()

configure() 方法用来配置当前类，serialize() 方法用来执行序列化操作。而 close() 方法用来关闭当前的序列化器，一般情况下 close() 是一个空方法，如果实现了此方法，则必须确保此方法的幂等性，因为这个方法很可能会被 KafkaProducer 调用多次。

生产者使用的序列化器和消费者使用的反序列化器是需要一一对应的，如果生产者使用了某种序列化器，比如 StringSerializer，而消费者使用了另一种序列化器，比如 IntegerSerializer，那么是无法解析出想要的数据的。

下面就以 StringSerializer 为例来看看 Serializer 接口中的3个方法的使用方法。

 //代码清单4-1 StringSerializer的代码实现
public class StringSerializer implements Serializer<String> {
    private String encoding = "UTF8";
 
    @Override
    public void configure(Map<String, ?> configs, boolean isKey) {
        String propertyName = isKey ? "key.serializer.encoding" :
                "value.serializer.encoding";
        Object encodingValue = configs.get(propertyName);
        if (encodingValue == null)
            encodingValue = configs.get("serializer.encoding");
        if (encodingValue != null && encodingValue instanceof String)
            encoding = (String) encodingValue;
    }
 
    @Override
    public byte[] serialize(String topic, String data) {
        try {
            if (data == null)
                return null;
            else
                return data.getBytes(encoding);
        } catch (UnsupportedEncodingException e) {
            throw new SerializationException("Error when serializing " +
                    "string to byte[] due to unsupported encoding " + encoding);
        }
    }
 
    @Override
    public void close() {
        // nothing to do
    }
}

首先是 configure() 方法，这个方法是在创建 KafkaProducer 实例的时候调用的，主要用来确定编码类型，不过一般客户端对于 key.serializer.encoding、value.serializer. encoding 和 serializer.encoding 这几个参数都不会配置，在 KafkaProducer 的参数集合（ProducerConfig）里也没有这几个参数（它们可以看作用户自定义的参数），所以一般情况下 encoding 的值就为默认的“UTF-8”。serialize() 方法非常直观，就是将 String 类型转为 byte[] 类型。

如果 Kafka 客户端提供的几种序列化器都无法满足应用需求，则可以选择使用如 Avro、JSON、Thrift、ProtoBuf 和 Protostuff 等通用的序列化工具来实现，或者使用自定义类型的序列化器来实现。下面就以一个简单的例子来介绍自定义类型的使用方法。

假设我们要发送的消息都是 Company 对象，这个 Company 的定义很简单，只有名称 name 和地址 address，示例代码参考如下（为了构建方便，示例中使用了 lombok 工具）：

 import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;
 
@Data
@NoArgsConstructor
@AllArgsConstructor
@Builder
public class Company {
    private String name;
    private String address;
}

下面我们再来看一下 Company 对应的序列化器 CompanySerializer。

 //代码清单4-2 自定义的序列化器CompanySerializer
public class CompanySerializer implements Serializer<Company> {
    @Override
    public void configure(Map configs, boolean isKey) {}
 
    @Override
    public byte[] serialize(String topic, Company data) {
        if (data == null) {
            return null;
        }
        byte[] name, address;
        try {
            if (data.getName() != null) {
                name = data.getName().getBytes("UTF-8");
            } else {
                name = new byte[0];
            }
            if (data.getAddress() != null) {
                address = data.getAddress().getBytes("UTF-8");
            } else {
                address = new byte[0];
            }
            ByteBuffer buffer = ByteBuffer.
                    allocate(4+4+name.length + address.length);
            buffer.putInt(name.length);
            buffer.put(name);
            buffer.putInt(address.length);
            buffer.put(address);
            return buffer.array();
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        return new byte[0];
    }
 
    @Override
    public void close() {}
}

上面的这段代码的逻辑很简单，configure() 和close() 方法也都为空。如何使用自定义的序列化器 CompanySerializer 呢？只需将 KafkaProducer 的 value.serializer 参数设置为 CompanySerializer 类的全限定名即可。

 //代码清单4-3 自定义序列化器使用示例
Properties properties = new Properties();
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
        StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
        CompanySerializer.class.getName());
properties.put("bootstrap.servers", brokerList);
 
KafkaProducer<String, Company> producer =
        new KafkaProducer<>(properties);
Company company = Company.builder().name("hiddenkafka")
        .address("China").build();
ProducerRecord<String, Company> record =
        new ProducerRecord<>(topic, company);
producer.send(record).get();

反序列化

KafkaProducer 有对应的序列化器，那么与此对应的 KafkaConsumer 就会有反序列化器。Kafka 所提供的反序列化器有 ByteBufferDeserializer、ByteArrayDeserializer、BytesDeserializer、DoubleDeserializer、FloatDeserializer、IntegerDeserializer、LongDeserializer、ShortDeserializer、StringDeserializer，它们分别用于 ByteBuffer、ByteArray、Bytes、Double、Float、Integer、Long、Short 及 String 类型的反序列化，这些序列化器也都实现了 Deserializer 接口，与 KafkaProducer 中提及的 Serializer 接口一样，Deserializer 接口也有三个方法。

public void configure(Map<String, ?> configs, boolean isKey)：用来配置当前类。
public byte[] deserialize(String topic, byte[] data)：用来执行反序列化。如果 data 为 null，那么处理的时候直接返回 null 而不是抛出一个异常。
public void close()：用来关闭当前序列化器。

Kafka 客户端自带的反序列化器 StringDeserializer 的具体代码实现如下：

 public class StringDeserializer implements Deserializer<String> {
    private String encoding = "UTF8";
 
    @Override
    public void configure(Map<String, ?> configs, boolean isKey) {
        String propertyName = isKey ? "key.deserializer.encoding" :
                "value.deserializer.encoding";
        Object encodingValue = configs.get(propertyName);
        if (encodingValue == null)
            encodingValue = configs.get("deserializer.encoding");
        if (encodingValue != null && encodingValue instanceof String)
            encoding = (String) encodingValue;
    }
 
    @Override
    public String deserialize(String topic, byte[] data) {
        try {
            if (data == null)
                return null;
            else
                return new String(data, encoding);
        } catch (UnsupportedEncodingException e) {
            throw new SerializationException("Error when " +
                    "deserializing byte[] to string due to " +
                    "unsupported encoding " + encoding);
        }
    }
 
    @Override
    public void close() {
        // nothing to do
    }
}

configure() 方法中也有3个参数：key.deserializer.encoding、value.deserializer. encoding 和 deserializer.encoding，用来配置反序列化的编码类型，这3个都是用户自定义的参数类型，在 KafkaConsumer 的参数集合（ConsumerConfig）中并没有它们的身影。一般情况下，也不需要配置这几个参数，如果配置了，则需要和 StringSerializer 中配置的一致。默认情况下，编码类型为“UTF-8”。上面示例代码中的 deserialize() 方法非常直观，就是把 byte[] 类型转换为 String 类型。

我们再来看一看与 CompanySerializer 对应的 CompanyDeserializer 的具体实现：

 public class CompanyDeserializer implements Deserializer<Company> {
    public void configure(Map<String, ?> configs, boolean isKey) {}
 
    public Company deserialize(String topic, byte[] data) {
        if (data == null) {
            return null;
        }
        if (data.length < 8) {
            throw new SerializationException("Size of data received " +
                    "by DemoDeserializer is shorter than expected!");
        }
        ByteBuffer buffer = ByteBuffer.wrap(data);
        int nameLen, addressLen;
        String name, address;
 
        nameLen = buffer.getInt();
        byte[] nameBytes = new byte[nameLen];
        buffer.get(nameBytes);
        addressLen = buffer.getInt();
        byte[] addressBytes = new byte[addressLen];
        buffer.get(addressBytes);
 
        try {
            name = new String(nameBytes, "UTF-8");
            address = new String(addressBytes, "UTF-8");
        } catch (UnsupportedEncodingException e) {
            throw new SerializationException("Error occur when deserializing!");
        }
 
        return new Company(name,address);
    }
 
    public void close() {}
}

configure() 方法和 close() 方法都是空实现，而 deserializer() 方法就是将字节数组转换成对应 Company 对象。在使用自定义的反序列化器的时候只需要将相应的 value.deserializer 参数配置为 CompanyDeserializer 即可，示例如下：

 props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
        CompanyDeserializer.class.getName());

注意如无特殊需要，笔者还是不建议使用自定义的序列化器或反序列化器，因为这样会增加生产者与消费者之间的耦合度，在系统升级换代的时候很容易出错。自定义的类型有一个不得不面对的问题就是 KafkaProducer 和 KafkaConsumer 之间的序列化和反序列化的兼容性。对于 StringSerializer 来说，KafkaConsumer 可以顺其自然地采用 StringDeserializer，不过对于 Company 这种专用类型而言，某个上游应用采用 CompanySerializer 进行序列化之后，下游应用也必须实现对应的 CompanyDeserializer。再者，如果上游的 Company 类型改变，那么下游也需要跟着重新实现一个新的 CompanyDeserializer，后面所面临的难题可想而知。

在实际应用中，在 Kafka 提供的序列化器和反序列化器满足不了应用需求的前提下，推荐使用 Avro、JSON、Thrift、ProtoBuf 或 Protostuff 等通用的序列化工具来包装，以求尽可能实现得更加通用且前后兼容。使用通用的序列化工具也需要实现 Serializer 和 Deserializer 接口，因为 Kafka 客户端的序列化和反序列化入口必须是这两个类型。

本节的最后我们来看一下如何使用通用的序列化工具实现自定义的序列化器和反序列化器的封装。这里挑选了 Protostuff 来做演示，使用的 Protostuff 的 Maven 依赖如下：

 <dependency>
    <groupId>io.protostuff</groupId>
    <artifactId>protostuff-core</artifactId>
    <version>1.5.4</version>
</dependency>
 
<dependency>
    <groupId>io.protostuff</groupId>
    <artifactId>protostuff-runtime</artifactId>
    <version>1.5.4</version>
</dependency>

为了简化说明，这里只展示出序列化器的 serialize() 方法和 deserialize() 方法，如下所示。

     //序列化器ProtostuffSerializer中的serialize()方法
    public byte[] serialize(String topic, Company data) {
        if (data == null) {
            return null;
        }
        Schema schema = (Schema) RuntimeSchema.getSchema(data.getClass());
        LinkedBuffer buffer = 
                LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE);
        byte[] protostuff = null;
        try {
            protostuff = ProtostuffIOUtil.toByteArray(data, schema, buffer);
        } catch (Exception e) {
            throw new IllegalStateException(e.getMessage(), e);
        } finally {
            buffer.clear();
        }
        return protostuff;
    }
    //反序列化器ProtostuffDeserializer中的deserialize()方法
    public Company deserialize(String topic, byte[] data) {
        if (data == null) {
            return null;
        }
        Schema schema = RuntimeSchema.getSchema(Company.class);
        Company ans = new Company();
        ProtostuffIOUtil.mergeFrom(data, ans, schema);
        return ans;
    }

接下来要做的工作就和 CompanyDeserializer 一样，这里就不一一赘述了。读者可以添加或减少 Company 类中的属性，以此查看采用通用序列化工具的前后兼容性的效能。

posted @ 2023-02-24 14:05 Dazzling! 阅读(1406) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· kafka 拦截器

· Kafka 分区器

· [Flink] Flink 序列化器与反序列化器

· |NO.Z.00018|——————————|BigDataEnd|——|Hadoop&kafka.V03|——|kafka.v03|序列化器剖析|

· 大数据-58 Kafka 高级特性消息发送02-自定义序列化器、自定义分区器 Java代码实现原创

阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句：使用策略模式优化代码结构
· AI与.NET技术实操系列（六）：基于图像分类模型对图像进行分类

历史上的今天：
2021-02-24 P4549 【模板】裴蜀定理
2021-02-24 POJ1606 Jugs
2021-02-24 1103 Integer Factorization (30 分)

公告

昵称： Dazzling!
园龄： 5年1个月
粉丝： 8
关注： 5

+加关注

2025年3月

日

一

二

三

四

五

六

随笔分类

1. 1010 Radix (25 分)(1)

Dazzling

外婆坐在阳光下轻轻抚着我的发那远去的少年恍然间长大

Kafka 序列化和反序列化

序列化

反序列化

公告

搜索

常用链接

我的标签

积分与排名

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论

	public void configure(Map<String, ?> configs, boolean isKey)
	public byte[] serialize(String topic, T data)
	public void close()

	//代码清单4-1 StringSerializer的代码实现
	public class StringSerializer implements Serializer<String> {
	private String encoding = "UTF8";

	@Override
	public void configure(Map<String, ?> configs, boolean isKey) {
	String propertyName = isKey ? "key.serializer.encoding" :
	"value.serializer.encoding";
	Object encodingValue = configs.get(propertyName);
	if (encodingValue == null)
	encodingValue = configs.get("serializer.encoding");
	if (encodingValue != null && encodingValue instanceof String)
	encoding = (String) encodingValue;
	}

	@Override
	public byte[] serialize(String topic, String data) {
	try {
	if (data == null)
	return null;
	else
	return data.getBytes(encoding);
	} catch (UnsupportedEncodingException e) {
	throw new SerializationException("Error when serializing " +
	"string to byte[] due to unsupported encoding " + encoding);
	}
	}

	@Override
	public void close() {
	// nothing to do
	}
	}

	import lombok.AllArgsConstructor;
	import lombok.Builder;
	import lombok.Data;
	import lombok.NoArgsConstructor;

	@Data
	@NoArgsConstructor
	@AllArgsConstructor
	@Builder
	public class Company {
	private String name;
	private String address;
	}

	//代码清单4-2 自定义的序列化器CompanySerializer
	public class CompanySerializer implements Serializer<Company> {
	@Override
	public void configure(Map configs, boolean isKey) {}

	@Override
	public byte[] serialize(String topic, Company data) {
	if (data == null) {
	return null;
	}
	byte[] name, address;
	try {
	if (data.getName() != null) {
	name = data.getName().getBytes("UTF-8");
	} else {
	name = new byte[0];
	}
	if (data.getAddress() != null) {
	address = data.getAddress().getBytes("UTF-8");
	} else {
	address = new byte[0];
	}
	ByteBuffer buffer = ByteBuffer.
	allocate(4+4+name.length + address.length);
	buffer.putInt(name.length);
	buffer.put(name);
	buffer.putInt(address.length);
	buffer.put(address);
	return buffer.array();
	} catch (UnsupportedEncodingException e) {
	e.printStackTrace();
	}
	return new byte[0];
	}

	@Override
	public void close() {}
	}

	//代码清单4-3 自定义序列化器使用示例
	Properties properties = new Properties();
	properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
	StringSerializer.class.getName());
	properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
	CompanySerializer.class.getName());
	properties.put("bootstrap.servers", brokerList);

	KafkaProducer<String, Company> producer =
	new KafkaProducer<>(properties);
	Company company = Company.builder().name("hiddenkafka")
	.address("China").build();
	ProducerRecord<String, Company> record =
	new ProducerRecord<>(topic, company);
	producer.send(record).get();

	public class StringDeserializer implements Deserializer<String> {
	private String encoding = "UTF8";

	@Override
	public void configure(Map<String, ?> configs, boolean isKey) {
	String propertyName = isKey ? "key.deserializer.encoding" :
	"value.deserializer.encoding";
	Object encodingValue = configs.get(propertyName);
	if (encodingValue == null)
	encodingValue = configs.get("deserializer.encoding");
	if (encodingValue != null && encodingValue instanceof String)
	encoding = (String) encodingValue;
	}

	@Override
	public String deserialize(String topic, byte[] data) {
	try {
	if (data == null)
	return null;
	else
	return new String(data, encoding);
	} catch (UnsupportedEncodingException e) {
	throw new SerializationException("Error when " +
	"deserializing byte[] to string due to " +
	"unsupported encoding " + encoding);
	}
	}

	@Override
	public void close() {
	// nothing to do
	}
	}

	public class CompanyDeserializer implements Deserializer<Company> {
	public void configure(Map<String, ?> configs, boolean isKey) {}

	public Company deserialize(String topic, byte[] data) {
	if (data == null) {
	return null;
	}
	if (data.length < 8) {
	throw new SerializationException("Size of data received " +
	"by DemoDeserializer is shorter than expected!");
	}
	ByteBuffer buffer = ByteBuffer.wrap(data);
	int nameLen, addressLen;
	String name, address;

	nameLen = buffer.getInt();
	byte[] nameBytes = new byte[nameLen];
	buffer.get(nameBytes);
	addressLen = buffer.getInt();
	byte[] addressBytes = new byte[addressLen];
	buffer.get(addressBytes);

	try {
	name = new String(nameBytes, "UTF-8");
	address = new String(addressBytes, "UTF-8");
	} catch (UnsupportedEncodingException e) {
	throw new SerializationException("Error occur when deserializing!");
	}

	return new Company(name,address);
	}

	public void close() {}
	}

	props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
	CompanyDeserializer.class.getName());

	<dependency>
	<groupId>io.protostuff</groupId>
	<artifactId>protostuff-core</artifactId>
	<version>1.5.4</version>
	</dependency>

	<dependency>
	<groupId>io.protostuff</groupId>
	<artifactId>protostuff-runtime</artifactId>
	<version>1.5.4</version>
	</dependency>

	//序列化器ProtostuffSerializer中的serialize()方法
	public byte[] serialize(String topic, Company data) {
	if (data == null) {
	return null;
	}
	Schema schema = (Schema) RuntimeSchema.getSchema(data.getClass());
	LinkedBuffer buffer =
	LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE);
	byte[] protostuff = null;
	try {
	protostuff = ProtostuffIOUtil.toByteArray(data, schema, buffer);
	} catch (Exception e) {
	throw new IllegalStateException(e.getMessage(), e);
	} finally {
	buffer.clear();
	}
	return protostuff;
	}
	//反序列化器ProtostuffDeserializer中的deserialize()方法
	public Company deserialize(String topic, byte[] data) {
	if (data == null) {
	return null;
	}
	Schema schema = RuntimeSchema.getSchema(Company.class);
	Company ans = new Company();
	ProtostuffIOUtil.mergeFrom(data, ans, schema);
	return ans;
	}

外婆坐在阳光下 轻轻抚着我的发 那远去的少年 恍然间长大

序列化

反序列化

公告

搜索

常用链接

积分与排名

随笔档案

外婆坐在阳光下轻轻抚着我的发那远去的少年恍然间长大