06 2018 档案

摘要:自定义反序列化类: 对于自定义的avro schema结构,需要有自定义的类在consumer时反序列化,反序列化类实例在consumer构造的时候通过参数传入 public class AvroWithSchemaSpecificDeser<T,E> implements Deserializer 阅读全文
posted @ 2018-06-29 11:31 黎明踏浪号 阅读(1908) 评论(1) 推荐(0)
摘要:在使用Kafka发送接收消息时,producer端需要序列化,consumer端需要反序列化,在大多数场景中,需要传输的是与业务规则相关的复杂类型,这就需要自定义数据结构。Avro是一种序列化框架,使用JSON来定义schema,shcema由原始类型(null,boolean,int,long,f 阅读全文
posted @ 2018-06-20 15:05 黎明踏浪号 阅读(17660) 评论(0) 推荐(0)
摘要:问题 在公司的产品开发中,存在多个团队负责产品的不同子系统,数据从上游进入系统,然后流向下游应用,每个子系统相互独立,是通过数据串在一起,在这种场景下,如果以传统的思维方式,可能是调用下游提供的WebAPI来post数据,也可能是上下游共用相同的数据库,不仅使得上下游耦合紧密,而且难以横向扩展,提高 阅读全文
posted @ 2018-06-11 17:26 黎明踏浪号 阅读(1107) 评论(0) 推荐(0)