java陷阱之关于数据同步

需求

需要查询设备列表。使用redissearch,需要从cannal->kafka->redis

问题

保证数据有序性和一致性(运维那边不能根据设备id进行分区，到时消息消费时面临消费的有序性问题)采用的是不使用binlog日志修改信息,采用通过id在数据库实时查一次。

但是因为有些字段高频修改导致同步的时候大量根据id查询

解决方式，一个表几十个字段。做搜索索引的时候,其实不是所有binlog修改日志都要关注,只针对做索引的字段才关注就行加一层过滤