随笔分类 - 数据库实时同步
摘要：本文目标 开启PG的日志，配置DBZ从其捕获数据变化。 开启PG日志 data/postgresql.conf wal_level = logical 重启数据库。 配置Debezium quarkus.http.port=8999 rkus.log.level=INFO quarkus.log.c
阅读全文
摘要：本文目标 用Flink从Kafka抽取DBZ送入的Oracle数据，入库到PostgreSQL Oracle->DBZ->Kafka->Flink->PostgreSQL CREATE TABLE t1_kafka ( F1 BIGINT NOT NULL, -- 注意字段大小写与Oracle保持一
阅读全文
摘要：本文目标 用logminer模式抽取Oracle日志数据 touch data/logminer_offsets.dat [yinyx@hostyyx conf]$ cat application.properties quarkus.http.port=8999 rkus.log.level=IN
阅读全文
摘要：本文目标 打开Oracle的logminner日志 参考文章 https://support.huaweicloud.com/usermanual-roma/fdi-ug-190624017.html https://debezium.io/documentation/reference/2.0/c
阅读全文
摘要：本文目标 部署debezium server 读取OracleXstream日志，发送到Kafka 部署Oracle客户端 下载客户端 https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads
阅读全文
摘要：本文目标 为Oracle19c打开xstream，为了让Debezium能够读取日志变化 参考文章 https://support.huaweicloud.com/usermanual-roma/fdi-ug-190624013.html 打开归档 修改管理员密码 [oracle@hostyyx ~
阅读全文
摘要：本文目标 CentOS7使用rpm安装Oracle19c企业版 安装前准备 yum update (可选) yum install -y compat-libcap1 compat-libstdc+±33 gcc-c++ ksh libaio-devel libstdc+±devel elfutil
阅读全文
摘要：本文目标 制作PostgreSQL-15.1绿色版，简化以后搭建测试环境。 内置数据库test 内置用户test，密码test，可远程登陆，管理员权限 ./start.sh 启动 ./stop.sh 停止 ./cmd.sh test用户和库的命令行 ./admin.sh 超级用户权限命令行 yum安
阅读全文
摘要：本文目标 Flink消费DBZ推送到Kafka的JSON数据，存入PostgreSQL 创建kafka的映射表 CREATE TABLE t1_kafka ( f1 BIGINT NOT NULL, f2 STRING, f3 TIMESTAMP(0) METADATA FROM 'value.so
阅读全文
摘要：本文目标 使用FLinkCDC实时同步源表和目标表。 为了减少依赖，本文只用到了MySQL+FLinkCDC，源表和目标表都在MySQL内，FLink数据抽取和入库，没有经过Kafka。 部署启动 相关程序 flink-1.14.6-bin-scala_2.12.tgz #flink主程序 flin
阅读全文
摘要：本文目标 debezium，简称dbz，伪装为MySQL从库，当主库发生变化后，主库会主动将变化的信息同步到dbz内，dbz将收到的信息转为JSON推送到Kafka内。 安装JDK11 yum -y install java-11-openjdk-devel 解压部署 tar xfz debeziu
阅读全文
摘要：本文目标 部署Kafka，用来作为数据同步通道 启动kafka tar xfz kafka_2.12-3.3.1.tgz cd kafka_2.12-3.3.1/bin ./zookeeper-server-start.sh -daemon ../config/zookeeper.propertie
阅读全文
摘要：本文目标 部署一个MySQL测试库，并且设置为master，启用binlog，用来作为数据同步的源库 MySQL8开启binlog 参考：https://debezium.io/documentation/reference/2.0/connectors/mysql.html#enable-mysq
阅读全文
摘要：流式同步测试总架构图说明 准备基础测试环境 内网环境同步（MySQL+FlinkCDC） 异地环境同步（MySQL+Kafka+PostgreSQL） 相关实现参加本文相关文章
阅读全文
摘要：本文目标 制作一个MySQL8的绿色版，以后解压即用，方便进行测试部署。 默认用户名root，密码root，仅限本机登录 默认用户名test，密码test，任意机器登录 默认数据库test 注意弱口令风险 下载原版MySQL8 mysql-8.0.31-el7-x86_64.tar.gz https
阅读全文
