摘要: 消息在经过拦截器、序列化后,就需要确定它发往哪个分区,如果在ProducerRecord中指定了partition字段,那么就不再需要partitioner分区器进行分区了,如果没有指定,那么会根据key来将数据进行分区,如果partitioner和key都没有指定,那么就会采用默认的方式进行数据分 阅读全文
posted @ 2019-08-13 14:46 硝烟漫过十八岁 阅读(903) 评论(0) 推荐(0) 编辑
摘要: 生产者需要将要发送的数据转换成字节数组才能通过网络发送给kafka,对于一些简单的数据,kafka自带了一些序列化工具, 如:StringSerializer Double Long Integer Byte,它们都实现了 Serializer 接口,但是如果你要发送的数据是一个对象 Persion 阅读全文
posted @ 2019-08-13 14:37 硝烟漫过十八岁 阅读(632) 评论(0) 推荐(0) 编辑
摘要: producer在发送数据时,会经过拦截器和序列化,最后到达相应的分区。在经过拦截器时,我们可以对发送的数据做进步的处理。 要正确的使用拦截器需要以下步骤: 1.实现拦截器ProducerInterceptor的方法 2.在producer的prop中配置 prop.put("interceptor 阅读全文
posted @ 2019-08-13 13:51 硝烟漫过十八岁 阅读(423) 评论(0) 推荐(0) 编辑