OGG 从 Oracle 到 PostgreSQL 的同步复制 json 数据
标签：goldengate postgresql oracle json
平台环境：
| 源端 | 目标端 | |
| 系统 | Windows 8.1 | CentOS7 |
| IP | 10.155.4.150 | 10.155.5.178 |
| 数据库 | Oracle 12.2.0.1.0 | postgresql 10.10-1 |
| OGG版本 | GoldenGate 12.3.0.1.2 for oracle | Goldengate 12.2.0.1 for PostgreSQL |
一、源端配置：
（因为Oracle的数据库和OGG安装教程简单，此处不做介绍）
1.1 Oracle 数据库配置：
SQL> sqlplus / as sysdba;
SQL>archive log list;
SQL>shutdown immediate;
SQL>startup mount;
SQL>alter database archivelog; //打开归档模式
SQL>alter database open;
SQL> alter database force logging; //设置强制记录日志
SQL> alter database add supplemental log data; //增加附加日志
SQL> alter system switch logfile; //切换日志使附加日志生效
SQL> select log_mode,supplemental_log_data_min,force_logging from v$database;
LOG_MODE SUPPLEMENTAL_LOG FORCE_LOGGING
------------------------------------------------------------------------------
ARCHIVELOG YES YES
（这样就配置好了）
SQL> alter system set enable_goldengate_replication=true scope=both;（源端才有） //把OGG绑定到ORACLE上面
SQL> create user oracle identified by oracle; //创建源端被抽取用户
SQL> grant dba to oracle; //赋权
SQL>conn oracle/oracle;
//创建源表
SQL>CREATE TABLE jsontest(
id VARCHAR2 (32) NOT NULL PRIMARY KEY,
po_document VARCHAR2 (3000)
CONSTRAINT ensure_json CHECK (po_document IS JSON)
);
1.2 OGG配置：
进入oggs目录启动ggsci （默认port 7809，不用修改）
GGSCI (localhost) 1> dblogin userid oracle password oracle //登陆同步用户
GGSCI (localhost) 2> add trandata oracle.jsontest //为同步表添加trandata
添加Extract进程
GGSCI (localhost) 3> add extract ex2 integrated tranlog, begin now
GGSCI (localhost) 4> add exttrail ./dirdat/es extract ex2
GGSCI (localhost) 5> edit params ex2
extract ex2 dynamicresolution userid oggs,password oggs exttrail ./dirdat/es format release 12.2 //队列文件版本需要一致 table oracle.jsontest2;
添加Pump进程
GGSCI (localhost) 6> add extract pu2 exttrailsource ./dirdat/es, begin now
GGSCI (localhost) 7> add rmttrail ./dirdat/et extract pu2
GGSCI (localhost) 8> edit params pu2
extract pu2 rmthost 10.155.5.178, mgrport 7810 rmttrail ./dirdat/et table oracle.jsontest2;
二、目标端配置
2.1 Postgresql 数据库配置
PostgreSQL 安装教程请参考：https://www.cnblogs.com/freeweb/p/8006639.html
创建用于同步的数据库、用户和Schema，并创建测试表
postgres=# create database smandar;
postgres=# create user smandar superuser password ‘smandar‘;
postgres=# \c smandar smandar
smandar=# create schema smandar;
CREATE SCHEMA
smandar=# \dn
List of schemas
Name | Owner
---------+---------
public | smandar
smandar | smandar
(2 rows)
smandar=# CREATE TABLE jsontest
smandar-# (
smandar(# id varchar primary key,
smandar(# po_document json
smandar(# );
CREATE TABLE
smandar=# \d
List of relations
Schema | Name | Type | Owner
---------+-----------+-------+---------
smandar | jsontest | table | smandar
(1 rows)
2.2 OGG安装与配置
(1) 解压安装
$ cd /home/smandar/Oracle/Installation_package
$ unzip 122022_ggs_Linux_x64_PostgreSQL_64bit.zip
$ cd ..
$ mkdir ogg
$ mv Installation_package /ggs_Linux_x64_PostgreSQL_64bit.tar ogg/
$ tar vxf ggs_Linux_x64_PostgreSQL_64bit.tar
(2) 配置odbc数据源，goldengate 使用ODBC连接Postgres Database
$ cd /home/smandar/Oracle/ogg
$ vi odbc.ini
[ODBC Data Sources] GG_Postgres=DataDirect 10.10 PostgreSQL Wire Protocol [ODBC] IANAAppCodePage=106 InstallDir=/home/smandar/Oracle/ogg [GG_Postgres] Driver=/home/smandar/Oracle/ogg/lib/GGpsql25.so Description=DataDirect 10.10 PostgreSQL Wire Protocol Database=smandar HostName=127.0.0.1 PortNumber=5432 LogonID=smandar Password=smandar
[ODBC Data Sources] 里边配置该ODBC的别名，本文件中也就是GG_Postgres 后边的配置文件中的targetdb需要与这个对应
[ODBC]:
IANAAppCodePage 指的是字符集的设置 这里的106值得是UTF8，如果是4则为ISO-8859-1，注意这个应该始终和postgres的字符集设置相同，不同字符集对应的值见附件。
InstallDir 对应ogg的安装目录
[GG_Postgres]: 这里的名称对应的是上边ODBC的别名
Driver 这里指向的是ogg安装目录下的lib/GGpsql25.so
Description 是描述
Database 填写数据库名称
HostName 填写本机的hostname，可以解析的即可。
PosrNumber 是postgres的监听端口。
LogonID 填写postgres的用户名
password 填写postgres的密码
(3) 修改环境变量 vi ~/.bashrc
export LD_LIBRARY_PATH=/home/smandar/Oracle/ogg/lib:$LD_LIBRARY_PATH export PATH=$PATH:/home/smandar/Oracle/ogg export ODBCINI=/home/smandar/Oracle/ogg/odbc.ini
(4) 配置OGG
$ cd /home/smandar/Oracle /ogg
$ ./ggsci
GGSCI (localhost.localdomain) 1> create subdirs //创建子目录
GGSCI (localhost.localdomain) 2 > edit param mgr //配置mgr端口
port 7810
GGSCI (localhost.localdomain) 3 > dblogin sourcedb gg_postgres userid smandar //配置replicat进程
Password: //输入密码
GGSCI (localhost.localdomain) 4 > add replicat re2, exttrail ./dirdat/et, nodbcheckpoint
GGSCI (localhost.localdomain) 5 > edit param re2
replicat re2
targetdb gg_postgres, userid smandar, password smandar
assumetargetdefs
map oracle.jsontest2, target smandar.jsontest2;
三、测试
（1）启动OGG进程
源端的mgr进程、ex2进程、pu2进程
目标端的mgr,re2进程
（2）原始数据
源端：
目标端：
源端插入数据：
SQL>INSERT INTO jsontest2
VALUES ('001',
'{"PONumber" : 1600,
"Reference" : "ABULL-20140421",
"Requestor" : "Alexis Bull",
"User" : "ABULL"}');
SQL>commit;
目标端查询数据：
（以上结果说明成功同步数据）
附：
Oracle 对 json 数据进行查询：
Postgresql 对 json 数据进行查询：
