使用ogg同步数据给kafka

使用ogg同步数据给kafka

两榜进士 2017-06-20 14:55:31  22252  收藏 7

分类专栏： 大数据-Kafka

 

为更好的配合公司自然人项目的实施，我利用虚机搭了一个测试环境，把生产库中的部分表的数据通过ogg软件同步给kafka

1 测试环境说明
1）目标
源数据库hr用户下的一张表t1,当发生dml操作时，操作数据写到kafka集群里，并显示出来。
2）环境构成
192.168.60.88 tdb1
192.168.60.89 reps
192.168.60.91 kafka01
192.168.60.92 kafka02
192.168.60.93 kafka03

tdb1是源,Oracle数据库,版本是10.2.0.4,sid:tdb
reps是接口服务器，用于安装ogg for bigdata软件，接收源端ogg pump进程发过来的数据，并把这些数据写入kafka集群
kafka01-03这三台组成了一个kafka的集群
所有这些服务器的os都是rhel 6.8
tdb1,kafka01-03的jdk版本是1.7.0.79
reps的jdk版本是1.8.0.121,因ogg for bigdata 12.2.xxx的版本需要jdk的版本是1.8以上，jdk 1.7会报版本不足的错
这五台服务器都需关掉防火墙，关掉selinux

2 kafka集群的安装

1)下载软件
zookeeper,版本3.4.10,文件名：zookeeper-3.4.10.tar.gz,下载地址:http://zookeeper.apache.org/releases.html
kafka，版本:2.10-0.10.2.0,文件名：kafka_2.10-0.10.2.0.tgz,下载地址:http://kafka.apache.org/downloads
2)准备工作
kafka01-03这三台机器调整/etc/hosts文件

1. [root@kafka01 ~]# cd /etc
2. [root@kafka01 etc]# cat hosts
3. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
4. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
5. 192.168.60.91 kafka01
6. 192.168.60.92 kafka02
7. 192.168.60.93 kafka03

kafka01-03这三台机器都建一个名字为kafka的用户，这三台机器的kafka用户需要做ssh互信任，如何做可以baidu。
kafka01主机,kafka用户示例：

1. [kafka@kafka01 ~]$ pwd
2. /home/kafka
3. [kafka@kafka01 ~]$ id
4. uid=500(kafka) gid=501(kafka) groups=501(kafka)
5. [kafka@kafka01 ~]$
6. [kafka@kafka01 ~]$ cat .bash_profile
7. # .bash_profile
8.  
9. # Get the aliases and functions
10. if [ -f ~/.bashrc ]; then
11.         . ~/.bashrc
12. fi
13.  
14. # User specific environment and startup programs
15.  
16. PATH=$PATH:$HOME/bin
17.  
18. export PATH
19. export JAVA_HOME=/usr/java/jdk1.7.0_79
20. export JRE_HOME=/usr/java/jdk1.7.0_79/jre
21. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
22. export ZOOKEEPER_HOME=/home/kafaka/zookeeper
23. export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
24. [kafka@kafka01 ~]$

3)安装配置zookeeper
如下操作在kafka01-03都要做,如下kafka01上做示例
a.解压
zookeeper-3.4.10.tar.gz解压后，目录重命名为：zookeeper,并挪到/home/kafka/下，效果如下：

1. [kafka@kafka01 zookeeper]$ pwd
2. /home/kafka/zookeeper
3. [kafka@kafka01 zookeeper]$ ls
4. bin        conf     data        docs             ivy.xml  LICENSE.txt  README_packaging.txt  recipes  zookeeper-3.4.10.jar      zookeeper-3.4.10.jar.md5   zookeeper.out
5. build.xml  contrib  dist-maven  ivysettings.xml  lib      NOTICE.txt   README.txt            src      zookeeper-3.4.10.jar.asc  zookeeper-3.4.10.jar.sha1
6. [kafka@kafka01 zookeeper]$

b.配置zoo.cfg

1. cd /home/kafka/ zookeeper
2. cp zoo_sample.cfg zoo.cfg

编辑zoo.cfg,内容如下：

1. [kafka@kafka01 conf]$ pwd
2. /home/kafka/zookeeper/conf
3. zoo.cfg设置如下参数：
4. dataDir=/home/kafka/zookeeper/data
5. clientPort=2181
6. server.1=kafka01:2888:3888
7. server.2=kafka02:2888:3888
8. server.3=kafka03:2888:3888

c.设置节点标识

1. cd /home/kafka/zookeeper
2. mkdir data
3. cd data
4. vi myid
5. 输入1
6.  
7. [kafka@kafka01 data]$ pwd
8. /home/kafka/zookeeper/data
9. [kafka@kafka01 data]$ cat myid
10. 1

d.启动Zookeeper

1. [kafka@kafka01 bin]$ pwd
2. /home/kafka/zookeeper/bin
3. ./zkServer.sh start
4.  
5. 看状态：
6. [kafka@kafka01 bin]$ ./zkServer.sh status
7. ZooKeeper JMX enabled by default
8. Using config: /home/kafka/zookeeper/bin/../conf/zoo.cfg
9. Mode: follower
10. 三台中一台Mode是leader,其余两台Mode为follower
11.  
12. 排错：
13. 如果没启动，可以使用./zkServer.sh start-foreground启动，屏幕上会显示日志信息，能看出哪块出了问题。

4)安装配置kafka
如下操作在kafka01-03都要做,kafka01上示例如下：
a.解压
kafka_2.10-0.10.2.0.tgz解压后，目录重命名为：kafka,并挪到/home/kafka/下，效果如下：

1. [kafka@kafka02 kafka]$ pwd
2. /home/kafka/kafka
3. [kafka@kafka02 kafka]$ ls
4. bin  config  libs  LICENSE  logs  NOTICE  site-docs

b.修改Kafka Servre配置文件

1. cd /home/kafka/kafka/config
2. vi server.properties 
3.  
4. [kafka@kafka01 config]$ cat server.properties --注：不需改的条目去掉了
5. broker.id=1  #kafka01为1，kafka02为2，kafka03为3
6. host.name=kafka01  #按主机名相应调整
7. listeners=PLAINTEXT://kafka01:9092 #按主机名相应调整
8. advertised.listeners=PLAINTEXT://kafka01:9092 #按主机名相应调整
9. log.dirs=/home/kafka/kafka/logs
10. num.partitions=4

c.后台启动kakfa
在集群中的这三个节点上分别后台启动Kafka，分别执行如下命令：

1. cd /home/kafka/kafka/bin
2. ./kafka-server-start.sh/home/kafka/kafka/config/server.properties &

d.测试
创建一个名称为oggtest的Topic，4个分区，并且复制因子为3:
可以任意一节点

1. ./kafka-topics.sh -create -zookeeper kafka01:2181,kafka02:2181,kafka03:2181 -replication-factor 3 -partitions 3 –topic oggtest

查看创建的Topic，执行如下命令：
可以任意一节点

1. ./kafka-topics.sh -describe -zookeeper kafka01:2181,kafka02:2181,kafka03:2181 -topic oggtest
2.  
3. 查看所有topic:
4. ./kafka-topics.sh -describe -zookeeper kafka01:2181,kafka02:2181,kafka03:2181

可以通过Kafka自带的bin/kafka-console-producer.sh和bin/kafka-console-consumer.sh脚本，来验证演示如何发布消息、消费消息:
在一个终端，启动Producer，并向我们上面创建的名称为oggtest的Topic中生产消息，执行如下脚本：

1. ./kafka-console-producer.sh -broker-list kafka01:9092,kafka02:9092,kafka03:9092 -topic oggtest

在另一个终端，启动Consumer，并订阅我们上面创建的Topic中生产的消息：

1. ./kafka-console-consumer.sh –zookeeperkafka01:2181,kafka02:2181,kafka03:2181 –from-beginning –topic oggtest

如果kafka集群配置的没有问题，随便在producer窗口敲入一些信息回车后，在consumer窗口便能看到相应的消息

3 ogg源端(sdb1主机)的安装配置
1)准备工作
a.ogg 软件
软件名：Oracle GoldenGate V11.2.1.0.3 for Oracle 11g on Linux x86-64.zip,在https://edelivery.oracle.com可以下载到
b.源数据库要开归档，置成force logging,开追加日志

1. [oracle@tdb1 ~]$ sqlplus / as sysdba
2. SQL> archive log list
3. Database log mode              Archive Mode
4. Automatic archival             Enabled
5. Archive destination            /oracle/arc
6. Oldest online log sequence     9
7. Next log sequence to archive   11
8. Current log sequence           11
9. SQL>
10. SQL> Select 
11.   2  SUPPLEMENTAL_LOG_DATA_MIN
12.   3  ,SUPPLEMENTAL_LOG_DATA_PK
13.   4  ,SUPPLEMENTAL_LOG_DATA_UI
14.   5  ,SUPPLEMENTAL_LOG_DATA_ALL
15.   6  , FORCE_LOGGING from v$database;
16.  
17. SUPPLEME SUP SUP SUP FOR
18. -------- --- --- --- ---
19. YES      NO  NO  NO  YES
20.  
21. SQL>

c.推荐添加一ogg用户，以避免对oracle用户的影响，放在oracle用户的主group,根据数据extract的量为ogg用户建立一个合适大小的文件系统
ogg用户最终效果示例：

1. [root@tdb1 ~]# su -  ogg
2. [ogg@tdb1 ~]$ id
3. uid=501(ogg) gid=500(dba) groups=500(dba)
4. [ogg@tdb1 ~]$
5. [ogg@tdb1 ~]$ cat .bash_profile
6. # .bash_profile
7.  
8. # Get the aliases and functions
9. if [ -f ~/.bashrc ]; then
10.         . ~/.bashrc
11. fi
12.  
13. # User specific environment and startup programs
14.  
15. PATH=$PATH:$HOME/bin
16.  
17. export PATH
18.  
19. umask 022
20. export ORACLE_BASE=/oracle/app/oracle
21. export ORACLE_HOME=$ORACLE_BASE/product/10.2.0
22. export ORACLE_SID=tdb
23. export PATH=$ORACLE_HOME/bin:$PATH:.
24. export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
25. export NLS_DATE_FORMAT=YYYYMMDDHH24MISS
26. export DISPLAY=192.168.60.1:0.0
27. #ogg
28. export GG_HOME=/ogg
29. #export PATH=$PATH:$GG_HOME
30. export LD_LIBRARY_PATH=/ogg:$ORACLE_HOME/lib
31. [ogg@tdb1 ~]$
32. [ogg@tdb1 ~]$ sqlplus / as sysdba
33.  
34. SQL*Plus: Release 10.2.0.5.0 - Production on Thu Apr 13 11:10:59 2017
35.  
36. Copyright (c) 1982, 2010, Oracle.  All Rights Reserved.
37.  
38.  
39. Connected to:
40. Oracle Database 10g Enterprise Edition Release 10.2.0.5.0 - 64bit Production
41. With the Partitioning, Data Mining and Real Application Testing options
42.  
43. SQL>

d.数据库内建立ogg用户，并给其授权

1. create tablespace ogg datafile '/oracle/oradata/tdb/ogg.dbf' size 1G;
2. create user ogg identified by gg_888 default tablespace ogg;
3. grant connect,resource to ogg;
4. grant dba to ogg; --如果不做ddl trigger,dba权限可以不给
5.  
6. GRANT CREATE SESSION TO ogg;
7. GRANT ALTER SESSION  TO ogg;
8. GRANT SELECT ANY DICTIONARY TO ogg;
9. GRANT SELECT ANY TABLE      TO ogg;
10. GRANT ALTER ANY TABLE       TO ogg; --用户配置表级追加日志
11.  
12. GRANT FLASHBACK ANY TABLE   TO ogg;
13. GRANT EXECUTE on DBMS_FLASHBACK package TO ogg;
14. GRANT EXECUTE on DBMS_FLASHBACK TO ogg;
15. GRANT EXECUTE ON utl_file TO ogg;
16. execute DBMS_STREAMS_AUTH.GRANT_ADMIN_PRIVILEGE('OGG');
17. grant execute on sys.dbms_lob to ogg;
18.  
19. --如下pl/sql块是在oracle 11g之上版本用的，10g版本不需要执行
20. BEGIN
21. DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(
22. Grantee                 => 'OGG',
23. privilege_type          => 'CAPTURE',
24. grant_select_privileges => TRUE,
25. do_grants               => TRUE);
26. END;
27. /

e.为了测试，我建立了一个hr用户，并在其下面建了一个t1的表

1. -- Create table
2. create table T1
3. (
4.   id   NUMBER not null,
5.   name VARCHAR2(100)
6. )
7. tablespace USERS;
8. -- Create/Recreate primary, unique and foreign key constraints
9. alter table T1
10.   add constraint PK_T1_ID primary key (ID)
11.   using index
12.   tablespace USERS;

2)配置ogg
a.解压缩ogg软件，放在$GG_HOME下
效果类似如下：

1. [ogg@tdb1 ogg]$ ls -l gg*
2. -rwxr-x--- 1 ogg dba  6577392 Aug 24  2012 ggcmd
3. -rw-r----- 1 ogg dba     1841 Apr 12 15:58 gglog-defgen.dmp
4. -rw-r----- 1 ogg dba     1239 Apr 12 16:40 gglog-DPE_TEST-43680.dmp
5. -rw-r----- 1 ogg dba      962 Apr 12 16:49 gglog-DPE_TEST-43782.dmp
6. -rw-r----- 1 ogg dba        0 Apr 12 16:40 gglog-DPE_TEST.dmp
7. -rw-r----- 1 ogg dba  1280336 Aug 24  2012 ggMessage.dat
8. -rwxr-x--- 1 ogg dba 13899588 Aug 24  2012 ggsci
9. -rw-rw-rw- 1 ogg dba    21819 Apr 13 08:47 ggserr.log
10. [ogg@tdb1 ogg]$

b.创建ogg相关子目录

1. [ogg@tdb1 ogg]$ pwd
2. /ogg
3. [ogg@tdb1 ogg]$ ./ggsci
4. GGSCI>create subdirs

ggsci报错处理：

1. [ogg@tdb1 ogg]$ ggsci
2. ggsci: error while loading shared libraries: libnnz11.so: cannot open shared object file: No such file or directory
3. [ogg@tdb1 ogg]$ ldd ggsci
4.         linux-vdso.so.1 =>  (0x00007ffd3db73000)
5.         libdl.so.2 => /lib64/libdl.so.2 (0x00000035bbc00000)
6.         libgglog.so => /ogg/./libgglog.so (0x00007ff824130000)
7.         libggrepo.so => /ogg/./libggrepo.so (0x00007ff823fdc000)
8.         libdb-5.2.so => /ogg/./libdb-5.2.so (0x00007ff823d3b000)
9.         libicui18n.so.38 => /ogg/./libicui18n.so.38 (0x00007ff8239da000)
10.         libicuuc.so.38 => /ogg/./libicuuc.so.38 (0x00007ff8236a1000)
11.         libicudata.so.38 => /ogg/./libicudata.so.38 (0x00007ff8226c5000)
12.         libpthread.so.0 => /lib64/libpthread.so.0 (0x00000035bc400000)
13.         libxerces-c.so.28 => /ogg/./libxerces-c.so.28 (0x00007ff8221ad000)
14.         libantlr3c.so => /ogg/./libantlr3c.so (0x00007ff822097000)
15.         libnnz11.so => not found
16.         libclntsh.so.11.1 => not found
17.         libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x00000035c7400000)
18.         libm.so.6 => /lib64/libm.so.6 (0x00000035bcc00000)
19.         libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00000035c7000000)
20.         libc.so.6 => /lib64/libc.so.6 (0x00000035bc000000)
21.         /lib64/ld-linux-x86-64.so.2 (0x00000035bb800000)
22.         
23. [oracle@tdb1 ~]$ cd $ORACLE_HOME/lib
24. [oracle@tdb1 lib]$ ln -s libnnz10.so libnnz11.so
25. [oracle@tdb1 lib]$ ln -s libclntsh.so  libclntsh.so.11.1
26. [oracle@tdb1 lib]$ ls -l  libclntsh.so.11.1
27. lrwxrwxrwx 1 oracle dba 12 Apr 11 22:33 libclntsh.so.11.1 -> libclntsh.so
28. [oracle@tdb1 lib]$ ls -l  libnnz11.so
29. lrwxrwxrwx 1 oracle dba       11 Apr 11 22:31 libnnz11.so -> libnnz10.so

c.打开hr.t1表级附加日志

1. [ogg@tdb1 ogg]$ ./ggsci
2. GGSCI>Dblogin userid ogg, password gg_888
3. Add trandata hr.t1

d.配置ogg manager

1. [ogg@tdb1 ogg]$ ./ggsci
2. GGSCI>edit params mgr
3. 内容如下，保存
4. PORT 7809
5. DYNAMICPORTLIST 7810-7860
6. AUTORESTART EXTRACT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60
7. PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1
8. LAGREPORTHOURS 1
9. LAGINFOMINUTES 30
10. LAGCRITICALMINUTES 45
11.  
12. 启动OGG manager
13. GGSCI>start mgr
14.  
15. 查看manager进程状态，正确的形态如下：
16. GGSCI (tdb1) 1> info mgr
17. Manager is running (IP port tdb1.7809).

e.创建Extract

1. GGSCI>edit params ext_test
2. 内容如下，保存
3. EXTRACT ext_test
4. Setenv (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
5. USERID ogg, PASSWORD gg_888
6. gettruncates
7. DISCARDFILE ./dirrpt/ext_test.dsc, APPEND, MEGABYTES 1024
8. DBOPTIONS  ALLOWUNUSEDCOLUMN
9. REPORTCOUNT EVERY 1 MINUTES, RATE
10. WARNLONGTRANS 2h,CHECKINTERVAL 3m
11. FETCHOPTIONS NOUSESNAPSHOT
12. TRANLOGOPTIONS  CONVERTUCS2CLOBS
13. EXTTRAIL ./dirdat/te
14. WILDCARDRESOLVE DYNAMIC
15. GETUPDATEBEFORES
16. NOCOMPRESSUPDATES
17. NOCOMPRESSDELETES
18. dynamicresolution
19. table hr.t1;
20.  
21. 添加抽取进程组：
22. GGSCI>add extract ext_test, TRANLOG, BEGIN NOW
23.  
24. 定义trail文件:
25. GGSCI> ADD EXTTRAIL ./dirdat/te, EXTRACT ext_test, MEGABYTES 200

f.pump extract进程

1. GGSCI>edit param dpe_test
2. 内容如下，保存
3. EXTRACT dpe_test
4. PASSTHRU
5. RMTHOST 192.168.60.89, MGRPORT 7809
6. RMTTRAIL ./dirdat/te
7. DYNAMICRESOLUTION
8. TABLE hr.t1;
9.  
10. 添加pump捕获组：
11. GGSCI> ADD EXTRACT dpe_test, EXTTRAILSOURCE ./dirdat/te
12.  
13. 定义pump trail文件:
14. GGSCI> ADD RMTTRAIL ./dirdat/te, EXTRACT dpe_test, MEGABYTES 200

g.启动捕获进程

1. GGSCI> start extract ext_test;
2. GGSCI> start extract dpe_test;
3.  
4. 看状态，如果如正就是对的：
5. GGSCI> info all
6.  
7. Program     Status      Group       Lag at Chkpt  Time Since Chkpt
8.  
9. MANAGER     RUNNING                                           
10. EXTRACT     RUNNING     DPE_TEST    00:00:00      00:00:03   
11. EXTRACT     RUNNING     EXT_TEST    00:00:00      00:00:01

4 接口机reps安装配置
1)安装OGG for Big Data
a.如源端类以,解压缩ogg for big data软件，放在$GG_HOME下
b./etc/hosts文件

1. [root@reps etc]# cd /etc
2. [root@reps etc]# cat hosts
3. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
4. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
5. 192.168.60.89 reps
6. 192.168.60.91 kafka01
7. 192.168.60.92 kafka02
8. 192.168.60.93 kafka03
9. [root@reps etc]#

c.安装jdk 1.8及之以的版本
ogg for big data 12.2.xx需要jdk 1.8以上的版本，我这里用的是1.8.0_121

1. [ogg@reps ogg]$ java -version
2. java version "1.8.0_121"
3. Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
4. Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

d.创建ogg用户，配置环境变量，安装kafka软件

1. [root@reps etc]# su - ogg
2. [ogg@reps ~]$ id
3. uid=500(ogg) gid=501(ogg) groups=501(ogg)
4. [ogg@reps ~]$ cat .bash_profile
5. # .bash_profile
6.  
7. # Get the aliases and functions
8. if [ -f ~/.bashrc ]; then
9.         . ~/.bashrc
10. fi
11.  
12. # User specific environment and startup programs
13.  
14. PATH=$PATH:$HOME/bin
15.  
16. export PATH
17. export OGG_HOME=/ogg
18. export PATH=$PATH:$GG_HOME
19. export LD_LIBRARY_PATH=$OGG_HOME:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64
20. [ogg@reps ~]$
21. [ogg@reps ~]$ ls -l
22. total 8
23. drwxrwxr-x 2 ogg ogg 4096 Apr 11 22:56 install
24. drwxr-xr-x 6 ogg ogg 4096 Feb 15 01:28 kafka   --把kafka软件包解压到这，也可以从kafka主机拷贝这个目录
25. [ogg@reps ~]$
26. [ogg@reps ~]$ cd /ogg
27. [ogg@reps ogg]$ ls -l ggsci
28. -rwxr-x--- 1 ogg ogg 39120528 Oct 20 07:05 ggsci
29. [ogg@reps ogg]$

2)配置OGG for kafka
a.启动ogg,并创建相关子目录

1. ./ggsci
2. GGSCI>create subdirs

b.复制example

1. cp $OGG_HOME/AdapterExamples/big-data/kafka/* $OGG_HOME/dirprm/

c.配置manager

1. GGSCI>edit params mgr
2. 内容如下：
3. PORT 7809
4. DYNAMICPORTLIST 7810-7860
5. AUTORESTART REPLICAT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60
6. PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1
7. LAGREPORTHOURS 1
8. LAGINFOMINUTES 30
9. LAGCRITICALMINUTES 45

d.配置kafka.props
内容如下：

1. [ogg@reps dirprm]$ cat kafka.props
2.  
3. gg.handlerlist = kafkahandler
4. gg.handler.kafkahandler.type = kafka
5. gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
6. gg.handler.kafkahandler.TopicName =oggtest
7. gg.handler.kafkahandler.format =avro_op
8. gg.handler.kafkahandler.format=delimitedtext
9. gg.handler.kafkahandler.format.fieldDelimiter=|
10. gg.handler.kafkahandler.SchemaTopicName=myoggtest
11. gg.handler.kafkahandler.BlockingSend =false
12. gg.handler.kafkahandler.includeTokens=false
13.  
14. gg.handler.kafkahandler.mode =op
15. #gg.handler.kafkahandler.maxGroupSize =100, 1Mb
16. #gg.handler.kafkahandler.minGroupSize =50, 500Kb
17.  
18.  
19. goldengate.userexit.timestamp=utc
20. goldengate.userexit.writers=javawriter
21. javawriter.stats.display=TRUE
22. javawriter.stats.full=TRUE
23.  
24. gg.log=log4j
25. gg.log.level=INFO
26.  
27. gg.report.time=30sec
28.  
29. #Sample gg.classpath for Apache Kafka
30. gg.classpath=dirprm/:/home/ogg/kafka/libs/*
31. #Sample gg.classpath for HDP
32. #gg.classpath=/etc/kafka/conf:/usr/hdp/current/kafka-broker/libs/*
33.  
34. javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar

说明：
gg.handler.kafkahandler.TopicName必须指定kafka端定义的topic
gg.handler.kafkahandler.format下面配置使用文本，并用”|”相隔，kafka最终接收到如下格式的消息。
gg.classpath须指定相应的lib路径
e.配置custom_kafka_producer.properties
内容如下：

1. bootstrap.servers=kafka01:9092,kafka02:9092,kafka03:9092
2. acks=1
3. compression.type=gzip
4. reconnect.backoff.ms=1000
5.  
6. value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
7. key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
8. # 100KB per partition
9. batch.size=102400
10. linger.ms=10000

3)表结构传递
源端：

1. GGSCI> ggsci
2. GGSCI> edit param defgen
3. 内容
4. DEFSFILE dirdef/source.def, PURGE
5. USERID ogg, PASSWORD gg_888
6. TABLE hr.t1 ;
7.  
8. [ogg@tdb1 ogg]$ defgen paramfile dirprm/defgen.prm  --shell命令

把defgen.prm放到接口机(reps)的/ogg/dirdef/下
4)定义replication
a.定义参数

1. ./ggsci
2. GGSCI>edit params rep_test
3. 输入如下内容：
4. REPLICAT rep_test
5. TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.props
6. SOURCEDEFS dirdef/source.def
7. REPORTCOUNT EVERY 1 MINUTES, RATE
8. GROUPTRANSOPS 10000
9. MAP hr.*, TARGET hr.*;

b.指定Trail文件

1. GGSCI> add replicat rep_test, exttrail ./dirdat/te

c.启动replicat进程，并检查状态

1. GGSCI> start replicat rep_test
2.  
3. 检查状态，类似如下输出表示正常
4. GGSCI (reps) 1> info all
5.  
6. Program     Status      Group       Lag at Chkpt  Time Since Chkpt
7.  
8. MANAGER     RUNNING                                           
9. REPLICAT    RUNNING     REP_TEST    00:00:00      00:00:05

其它：如果replicat进程启动不了，可以使用如下命令启动，以方便诊断问题：

1. cd $OGG_HOME
2. ./replicat paramfile dirprm/rep_test.prm

5 测试验证
1）启动kafka consumerconsole
kafka任一结点：

1. ./kafka-console-consumer.sh -zookeeper :2181 -topic oggtest -from-beginning

2)在源端测试表中插入数据

1. sqlplus hr/hr
2. SQL> insert into t1 values(5,'shihaifeng');
3. 1 row created.
4.  
5. SQL> commit;
6. Commit complete.

3)查看kafka消费控制台是否接收到该行数据
我的有如下显示：

1. I|HR.T1|2017-04-13 03:31:03.835147|2017-04-13T11:31:08.973000|00000000000000001478|5|shihaifeng