OGG 实用案例（二）- ogg 对接 kafka 远程同步 其他kafka

远程同步kafka

      请衔接上文查看

　　这个就是直接远程同步数据库，128 已经是使用中的kafka，我们直接通过ogg远程同步，这种情况 128库不需要安装任何ogg相关

 

01、配置远程同步配置文件replicat

01）、编辑进程配置文件

GSCI (RHEL44223) 9> edit param rekafka2

REPLICAT rekafka2

sourcedefs /root/ogg/ogg/dirdef/test_kingle.oggtest

TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.props2（重新定义kafka配置文件）

REPORTCOUNT EVERY 1 MINUTES,RATE

GROUPTRANSOPS 10000

MAP test_kingle.oggtest,TARGET test_kingle.oggtest;

MAP test_ogg.test_ogg,TARGET test_ogg.test_ogg;    

 

 

02）、添加进程                             

GGSCI (RHEL44223) 10> add replicat rekafka2 exttrail ./dirdat/to,checkpointtable test_kingle.checkpoint

REPLICAT added.

 

 

查看是否添加成功

GGSCI (RHEL44223) 11> info all      

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                          

REPLICAT    RUNNING     REKAFKA     00:00:00      00:00:09   

REPLICAT    STOPPED     REKAFKA2    00:00:00      00:00:08   

 

03）、编辑对接kafka配置文件

把地址改成远程的地址即可

[root@RHEL44223 dirprm]# cat kafka.props2

gg.handlerlist=kafkahandler

gg.handler.kafkahandler.type=kafka

gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties2

gg.handler.kafkahandler.topicMappingTemplate=testogg（这个位置根据远程主题配置，如果没有则在远程kafka主机上创建。）

gg.handler.kafkahandler.format=json

gg.handler.kafkahandler.mode=op

gg.classpath=dirprm/:/root/ogg/kafka/libs/*:/root/ogg/ogg/:/root/ogg/ogg/lib/*

 

[root@RHEL44223 dirprm]# cat custom_kafka_producer.properties2

bootstrap.servers=10.118.193.128:9092

acks=1

compression.type=gzip

reconnect.backoff.ms=1000

value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer

key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer

batch.size=102400

linger.ms=10000

 

02、启动复制进程

执行

GGSCI (RHEL44223) 1> Start REKAFKA2

GGSCI (RHEL44223) 1> info all

 

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

 

MANAGER     RUNNING                                           

REPLICAT    RUNNING     REKAFKA     00:00:00      00:00:04   

REPLICAT    RUNNING     REKAFKA2    00:00:00      00:00:05 

 

查看远程目标区是否有数据接入即可