java陷阱之关于数据同步

需求

需要查询设备列表。使用redissearch,需要从cannal->kafka->redis

问题

保证数据有序性和一致性(运维那边不能根据设备id进行分区，到时消息消费时面临消费的有序性问题)采用的是不使用binlog日志修改信息,采用通过id在数据库实时查一次。

但是因为有些字段高频修改导致同步的时候大量根据id查询

解决方式，一个表几十个字段。做搜索索引的时候,其实不是所有binlog修改日志都要关注,只针对做索引的字段才关注就行加一层过滤

posted @   意犹未尽  阅读(7)  评论(0)  编辑  收藏  举报
相关博文：
· java陷阱之遍历数据源数据
· 一次基于binlog恢复数据的经验
· Java基础知识记录-20220315
· redis数据库一致性的问题，目的：保持数据的最终一致性，不能为了强一致性牺牲吸能
· Java问题
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15：你的「微服务管家」又秀新绝活了
· DeepSeek 开源周回顾「GitHub 热点速览」
历史上的今天：
2021-10-30 Spring源码阅读(六)-ConfigurationClassPostProcessor
点击右上角即可分享
微信分享提示