tidb的组件ticdc传输数据到kafka
环境:tidb4.0.8、centos7.6
1、tidb扩容ticdc
1. 添加节点信息到 scale-out.yaml 文件
cdc_servers: - host: 172.168.20.51 port: 8300 deploy_dir: "/data1/tidb-deploy/cdc-8300" log_dir: "/data1/tidb-deploy/cdc-8300/log"
2、运行扩容命令
tiup cluster scale-out tidb scale-out.yaml
2、ticdc创建kafka同步任务
tiup cdc cli changefeed create --pd=http://172.168.20.49:2379 --sink-uri="kafka://127.0.0.1:9092/cdc-test?kafka-version=2.4.0&partition-num=6&max-message-bytes=67108864&replication-factor=1" Create changefeed successfully! ID: simple-replication-task
3、常用命令
查询同步任务列表: tiup cdc cli changefeed list --pd=http://172.168.20.49:2379 停止同步任务: tiup cdc cli changefeed pause --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task 以上命令中: --changefeed-id=uuid 为需要操作的 changefeed ID。 恢复同步任务: tiup cdc cli changefeed resume --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task 删除同步任务: tiup cdc cli changefeed remove --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task 删除任务后会保留任务的同步状态信息 24 小时(主要用于记录同步的 checkpoint),24 小时内不能创建同名的任务。如果希望彻底删除任务信息,可以指定 --force 或 -f 参数删除,删除后 changefeed 的所有信息都会被清理,可以立即创建同名的 changefeed。 tiup cdc cli changefeed remove --pd=http://172.168.20.49:2379 --changefeed-id
做一个决定,并不难,难的是付诸行动,并且坚持到底。