maxwell同步数据上线步骤

测试步骤:

1.101上建立表
2.配置增量kafka, topic = mysql_online_sync_member
3.导出存量数据
4.存量数据导入本地MySQL, db:basicrcdata
5.开启增量同步,使用线上kafka,但是需要把submit注释掉,不进行提交
(配置中auto_offset_reset=earliest,并且将success函数注释以后,consumer不在进行提交),测试可以,但是线上是在进行一直提交的
导致我们新表上线以后,其实线上已经消费了很多,会漏掉数据

上线步骤:

1.建表2.停止消费服务
3.配置增量kafka
4.存量导入上线MySQL
5.代码上线,开启消费者

导入命令

bin/maxwell --user='maxwell' --password='maxwell' --host='localhost' --producer=stdout --filter='exclude: *.*, include: member.*'

bin/maxwell --user='maxwell' --password='maxwell' --host='localhost' --producer=stdout --init_position=master.000001:0:0 --filter='exclude: *.*, include: member.tr_member_device'

bin/maxwell --user='maxwell' --password='maxwell' --host='localhost' --producer=kafka --kafka_version=0.10.0.1 --kafka.bootstrap.servers=127.0.0.1:9092 --kafka_topic=mysql_online_sync_member --init_position=master.000001:0:0 --filter='exclude: *.*, include: member.tr_member_device'
posted @ 2020-11-30 18:51  G先生  阅读(95)  评论(0编辑  收藏  举报

:guocheng