GoldenGate安装配置
GOLDENGATE安装
1. 下载与数据库对应版本的goldengate安装介质。
2. 创建goldengate系统用户，设置用户环境变量，如果是oracle，建议直接使用oracle作为用户安装。
3. 创建goldengate数据库用户，并授予足够权限，该用户至少应该有connect、resource、select any dictionary、select any table的权限。当然授予dba权限的话，那么就涵盖了所需的所有权限。
在此处使用的oracle数据库用户为 ggs 密码也是ggs。 提醒一天，ggs尽量使用自己的表空间。这样可以有效的进行维护。
建议脚本
SQL> grant connect, resource,unlimited tablespace,select any dictionary, select any table,insert any table,update any table,delete any table,alter any table,flashback any table
to ggs;
SQL>grant execute on dbms_flashback to ggs;
SQL>grant execute on utl_file to ggs;
4. 将源端数据库设置为归档模式。
SQL>alter database archivelog;
SQL>archive log list;
注意 归档是需要重启的。所以请妥善管理好时间。
5. 将源端数据库的附加日志打开
SQL>select supplemental_log_data_min from v$database;
如果没有打开，则使用以下sql命令打开附加日志
SQL>alter database add supplemental log data;
6. 打开force logging
SQL>alter database force logging;
7. 将goldengate安装介质上传到服务器，解压缩包。
8. 在解压缩包后的根目录，也就是goldengate工作目录，运行 ./ggsci命令进入ggsci命令提示符界面,运行create subdirs:等待命令结束，goldengate安装完成。
可能遭遇的错误以及该如何处理的过程：
scp ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip oracle@172.25.0.10:/oracle/
mkdir -p /oracle/insogg/
unzip /oracle/ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip -d /oracle/insogg/
mkdir -p /oracle/ogg/
tar -xvf /oracle/insogg/fbo_ggs_Linux_x64_ora11g_64bit.tar -C /oracle/ogg
修环境变量
vi .bash_profile
export PATH=$PATH:$ORACLE_HOME/bin:/home/oracle/ggs
export LD_LIBRARY_PATH=/home/oracle/ggs:$ORACLE_HOME/lib
9. 打开DDL支持(可选)
SQL>@marker_setup.sql
SQL>@ddl_setup.sql
SQL>@role_setup.sql
SQL>@Grant the role to all GoldenGate Extract users
SQL>@ddl_enable.sql
SQL>@marker_setup.sql
SQL>@ddl_setup.sql
SQL>@role_setup.sql
SQL> Grant the role to all GoldenGate Extract users
SQL>@ddl_enable.sql
10. 在目标库上面完成7-9步骤
GOLDENGATE配置
1、首先需要在源端和目标端都配置一个管理进程，也就是goldengate实例。
运行ggsci，然后输入 edit params mgr
此时会弹出一个编辑器，在新创建的文件中工加入端口定义，比如port 7809。
保存退出后，运行start mgr则能启动管理进程。
GGSCI>dblogin userid <username>,password <password>
增加需要同步表列表
GGSCI>add trandata <schema_name>.<table_name>
参考实例
./ggsci
GGSCI (install0.example.com) 1> create subdirs
GGSCI (install0.example.com) 1> dblogin userid ggs,password ggs
GGSCI (install0.example.com) 1> edit params mgr
port 7809
dynamicportlist 7800-8000
checkminutes 10
purgeoldextracts /oracle/ggtrail/lt*,usecheckpoints,minkeepdays 3,maxkeepdays 10
PURGEDDLHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7, FrequencyMinutes 120
PurgeMarkerHistory MinKeepDays 3, MaxKeepDays 7, FrequencyMinutes 120
autostart ER *
autorestart ER *,waitminutes 2,resetminutes 5
laginfominutes 0
lagreportminutes 10
在源添加checkpoint表:
GGSCI (oracle0.example.com) 1>
CHECKPOINT TABLE ggate.checkpoint
--------------------------------
GGSCI (oracle0.example.com) 1> dblogin userid ggs, password ggs
GGSCI (oracle0.example.com) 2> add checkpointtable ggs.checkpoint
#################################################################
在源端增加同步的表
GGSCI (install0.example.com) 1> add trandata vip_system.CIM_MAPEXCHANGECODE
add trandata vip_system.CIM_PERSONMAIN
add trandata vip_system.CIM_SUBSCRIBE
2、在源端配置数据捕获进程和数据传输进程。
数据捕获进程负责将数据从数据库日志抓取出来，存放到一个队列文件中，数据传输进程负责将队列文件按照指定的业务逻辑传输到目标数据库。
添加extract进程命令： add extract <extract_name>,tranlog,<开始时间或者SCN或者RBA>
修改配置参数: edit params <extract_name>
GGSCI>delete extract demo
Deleted EXTRACT DEMO.
配置抽取进程
GGSCI> add extract demo,tranlog,begin now
EXTRACT added.
GGSCI>add extract demo,tranlog,EXTSEQNO 849039
GGSCI>edit params demo
extract demo
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
setenv (ORACLE_SID="orcl") userid ggs,password oracle
REPORT AT 01:59
reportrollover at 02:00
GETTRUNCATES
WARNLONGTRANS 2h,CHECKINTERVAL 3m
TRANLOGOPTIONS convertucs2clobs
FETCHOPTIONS NOUSESNAPSHOT
exttrail /home/oracle/ggs/dirdat/mm
discardfile /home/oracle/ggs/dirrpt/mm, append , megabytes 100
dynamicresolution
table sh.one;
指定从某一时刻开始
GGSCI>add extract demo,tranlog,begin 2012-1-2 11:23:10
配置参数说明
Extract <extract_name>:指定刚才加入的extract的名字
SETENV():指定该extract启动时oracle相关的环境变量.
Userid <oracle_user>, password <oracle_password>:连接到源数据库的用户，既我们在第一步建立的源端数据库用户。
Report：指定每天在日志中产生报告的时间
Reportrollover：指定每天汇报队列文件切换报告的时间
Gettruncates：告诉extract对truncate操作也要捕获
Warnlongtrans：超过<n>个小时的交易为长交易，要在goldengate日志中进行记录，检查时间为指定的checkinterval。
Tranlogoptions：针对源数据库的一些配置选项，如数据库归档的位置等等，本例子中的值是指当源和目标数据库字符集不一致，而且传输包含clob字段时，需要对clob中的字符集进行转换。
Fetchoptions：指定当从源数据库抓取数据时的一些选项，本例指不从undo tablespace取数据，而是从表里直接抽取。
Exttrail：本地队列文件，extract将数据从数据库日志抓取后存放在该队列文件。
Discardfile：指定丢弃数据的存放位置。
Dynamicresolution：指定当extract从日志抓取变化数据时，根据当前的需要，动态解析表名，从而加快抓取进程的启动速度。
Table <schema>.<table_name>:指定要从源系统抓取那些表的数据，这里schema不能用通配符，table_name可以用通配符。
配置传输进程
GGSCI>add extract pump1,exttrailsource ./dirdat/lt
EXTRACT added
GGSCI>add rmttrail ./dirdat/lt,extract pump1
指定传输起始点
GGSCI> alter extract pump1 extseqno <seq>, extrba <ba>
GGSCI>alter extract pump1 begin 2012-1-2 11:23:10
参考样例
抽取配置
GGSCI (centerdb-prod) 2> edit params ext1
extract ext1
setenv (NLS_LANG=SIMPLIFIED CHINESE_CHINA.ZHS16GBK)
setenv (ORACLE_SID="orcl")
userid ggs,password ggs
REPORT AT 01:59
reportrollover at 02:00
WARNLONGTRANS 2h,CHECKINTERVAL 3m
TRANLOGOPTIONS convertucs2clobs
FETCHOPTIONS NOUSESNAPSHOT
DBOPTIONS ALLOWNOLOGGING
ignorereplicates
tranlogoptions excludeuser ggate
exttrail /oracle/ogg/dirdat/ea
discardfile /oracle/ogg/dirrpt/dt,append,megabytes 100
dynamicresolution
TABLE vip_system.CIM_MAPEXCHANGECODE;
TABLE vip_system.CIM_PERSONMAIN;
TABLE vip_system.CIM_SUBSCRIBE;
TABLE vip_system.CUSTOMER_BASICINFO;
TABLE vip_system.CUSTOMER_SERVICE;
TABLE vip_system.CUS_GROUP;
GGSCI (oracle0.example.com) 2> add extract ext1, tranlog, begin now
添加抽取进程的生成文件
GGSCI (oracle0.example.com) 3> add exttrail /oracle/ogg/dirdat/ea,extract ext1
增加投递功能
GGSCI (centerdb-prod) 2>edit params pump1
extract pump1
userid ggs,password ggs
rmthost 172.19.16.45,mgrport 7809
rmttrail /home/oracle/ogg/dirdat/lt
passthru
table vip_system.*;
table gbox.*;
table weixin.*;
table tzzh.*;
----------------------------------------------
在源端增加投递进程
GGSCI (oracle0.example.com) 4> add extract pump1,exttrailsource /oracle/ogg/dirdat/ea , begin now
增加投递到远程的文件
GGSCI (oracle0.example.com) 5> add rmttrail /home/oracle/ogg/dirdat/lt ,extract pump1
3、配置目标端的应用进程
设置检查点
GGSCI>edit params GLOBAL
CHECKPOINT TABLE ggate.checkpoint
GGSCI>dblogin userid <userid>,password <password>
GGSCI>add checkpointtable
增加复制进程组
GGSCI>add replicat rep1,exttral ./dirdat/lt
GGSCI>edit param rep1
replicat rep1
userid ggate, password ggate50
assumetargetdefs
reperror default, discard
dynamicresolution
discardfile /oracle/goldengate/dirdat/rep1_discard.txt, append, megabytes 10
DDL
map center_admin.*, target center_admin.*;
指定应用进程起始点
GGSCI> alter extract rep1 extseqno <seq>, extrba <ba>
GGSCI>alter extract rep1 begin 2012-1-2 11:23:10
参考样例
GGSCI (localhost.localdomain) 58> edit params mgr
port 7809
dynamicportlist 7800-8000
autorestart er *
autorestart extract *,waitminutes 2,retries 5
purgeoldextracts /home/oracle/ogg/dirdat/lt*,usecheckpoints,minkeepdays 1,maxkeepdays 2
在源和目标都要端添加checkpoint表:
配置全局参数文件
vi /home/oracle/ogg/GLOBALS
--------------------------------
checkpointtable ggs.checkpoint
--------------------------------
GGSCI (oracle0.example.com) 1> dblogin userid ggs, password ggs
GGSCI (oracle0.example.com) 2> add checkpointtable ggs.checkpoint
#################################################################
GGSCI (localhost.localdomain) 59> edit params rep1
replicat rep1
SETENV(NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK")
userid ggs, password ggs
assumetargetdefs
reperror default, discard
discardfile /home/oracle/ogg/dirdat/rep1_discard.txt, purge, megabytes 1000
dynamicresolution
DDL INCLUDE MAPPED &
EXCLUDE MAPPED OBJTYPE 'TRIGGER' &
EXCLUDE MAPPED OBJTYPE 'JOB' &
EXCLUDE MAPPED OPTYPE TRUNCATE
DDLERROR DEFAULT IGNORE RETRYOP
map vip_system.*, target vip_system.*;
map gbox.*, target gbox.*;
map weixin.*, target weixin.*;
map tzzh.*, target tzzh.*;
增加复制进程
GGSCI (install0.example.com) 2> add replicat rep1,exttrail /home/oracle/ogg/dirdat/lt , nodbcheckpoint
