『OGG 02』Win7 配置 Oracle GoldenGate Adapter Java 踩坑指南
上一文章 《__Win7 配置OGG(Oracle GoldenGate).docx》定下了 两个目标：
- 目标1：
给安装的Oracle_11g 创建 两个用户 admin 和 root 。
admin 对应了 ADMIN 结构，创建了一个 TB_ TEST表。
root 对应了 ROOT 结构，也创建一个 TB_ TEST (表结构一摸一样)。
当 admin.TBTEST 中的表数据 变化时，root.TB TEST 的表数据 自动同步（备份）
PS. 实际的 容灾备份，肯定是 两个 Oracle 服务器，通过网络传输 备份数据 —— 各位可以想象 admin 和 root 在两台不同服务器 上。
- 目标2：
当 admin.TB_ TEST 表数据发生变化时，把这种变化 传递给 Java、C# 程序。
当 Java、C# 程序得到 数据变化消息时，把 数据的变化 记录到日志中（或者其他操作）。
其中，目标1 已经完成，我们开始尝试 目标2
下载 OGG Adapter Java：
http://www.oracle.com/technetwork/cn/middleware/goldengate/downloads/index.html
开始配置 Java运行环境：
我开始后悔了，我的系统是 64位Win7。
我后悔自己安装的是 32位的 Oracle。
我后悔自己安装了两套 JDK： C:\Program Files\Java\jdk1.8.0121 和 C:\Program Files (x86)\Java\jdk1.8.0121。
我后悔自己的OGG目录 取了这么长的 一个名字： D:\oracle\product\11.1.0\x86_ogg4oracle\
接下来的文章：这些坑将导致各种诡异的问题 —— 填坑指南，作者带着你 一起踩坑一起填，在失败中积累厚重经验、在填坑中收获绝对稳定。
配置环境变量：
我的电脑 64位Win7,安装了 64位、32位 位两种 JDK。Oracle_11g 32位，OGG 32位。
进行如下操作：
- 找到 64位 JDK目录 —— 右键，“360强力删除” —— 没错，强力粉碎，这源自我踩坑踩出的仇恨，粉碎，粉碎。 桌面>计算机>右键>属性>高级系统设置>“高级”选项卡>环境变量。
CLASSPATH ： .;%JAVAHOME%\lib\tools.jar;%JAVAHOME%\lib\dt.jar;%JAVA_HOME%\bin;
JAVAHOME ： C:\Program Files (x86)\Java\jdk1.8.0121
JREHOME ： C:\Program Files (x86)\Java\jre1.8.0121
Path ： %JAVA_HOME%\bin;
验证环境变量：
打开cmd （不详述了，cmd 都打不开，这篇文章你也不用看了）
建议重启电脑，好像有时候，JAVA的环境变量 要重启后 才生效 —— 重启保平安。
开始考验 JAVA基础的时候了：
打开 eclipse，新建一个 hello world 项目。导出 jar 包。
再次验证 java 运行环境：
你以为 这个 hello.jar 有啥用？ —— 没用！
玄学懂不懂？
安装SQL Server 你不去上个厕所，你还想安装成功？【上厕所，减少人为磁盘操作，SQLServer安装程序更稳定】
你不写个 hello word，你还想把OGG Adapter Java 配成？【就是为了验证 java 运行环境，配置者的java基础】
开始配置 OGG Adapter Java 【正式代码在下面，我们要先验证 OGG-Java 的配置环境】
回顾一下：针对 ADMIN.TB_TEST 表 —— 当数据变化时，我们的Java插件要能够 捕获到数据变化。
生成表结构 定义文件。【目标：得到一个 .def 后缀的文件（过程中的其他文件都可以删除）】
在 D:\Temp\ 文件夹创建一个 文本文件 source.prm 内容如下：
运行 cmd，通过 source.prm 生成 source.def 文件。
找到 D:\oracle\product\11.1.0\x86ogg4oracletarget\ 【目标端】双击运行 ggsci.exe 程序。 添加 javaue
配置 javaue
javaue.prm如下：
Extract JAVAUE
SourceDefs dirprm/source.def
getEnv (JAVA_HOME)
-- getEnv (LDLIBRARYPATH)
getEnv (PATH)
CUserExit ggjava_ue.dll CUSEREXIT PassThru IncludeUpdateBefores
GetUpdateBefores
Table ADMIN.*;
javaue.properties 如下：
gg.handlerlist=sample.SampleHandler
java.naming.provider.url=tcp://localhost:61616
java.naming.factory.initial=org.apache.activemq.jndi.ActiveMQInitialContextFactory
gg.handler.sample.type=sample.SampleHandler
goldengate.userexit.timestamp=utc
goldengate.userexit.nochkpt=true
尝试启动 javaue
PS.
如果出现 “不出错”的错误（rpt 文件没有任何异常信息），但 start javaue 窗口一闪而过，死活无法启动。
记住如下方式：用命令行 参数模式 启动 javaue，可以显示 “不出错”错误。
extract paramfile D:\oracle\product\11.1.0\x86_ogg4oracle_target\dirprm\javaue.prm
正式编写 OGG Adapter Java 插件代码
新建项目 custom，添加 jar包 引用。
创建 Java文件 SampleHandler，源码如下：
注意：OGG 12 和 OGG 11 的代码是完全不同的。
//---------------------------------------------------------------------------------------------------
package sample; //包名称 sample，类名称 SampleHandler —— 有没有让你想到什么？ javaue.properties
import java.io.*;
//这是 OGG 11 的 import
import com.goldengate.atg.datasource.AbstractHandler;
import com.goldengate.atg.datasource.DsConfiguration;
import com.goldengate.atg.datasource.DsEvent;
import com.goldengate.atg.datasource.GGDataSource.Status;
import com.goldengate.atg.datasource.meta.DsMetaData;
import com.goldengate.atg.datasource.test.DsTestUtils.Logger;
import com.goldengate.atg.datasource.meta.*;
import com.goldengate.atg.datasource.*;
//这是 OGG 12 的 import
//import org.slf4j.Logger;
//import org.slf4j.LoggerFactory;
//import oracle.goldengate.datasource.AbstractHandler;
//import oracle.goldengate.datasource.DsConfiguration;
//import oracle.goldengate.datasource.DsEvent;
//import oracle.goldengate.datasource.DsTransaction;
//import oracle.goldengate.datasource.conf.DsHandler.Handler.Status;
//import oracle.goldengate.datasource.meta.DsMetaData;
//import oracle.goldengate.datasource.GGDataSource;
public class SampleHandler extends AbstractHandler {
//OGG 11 和 OGG 12 的 日志好像不一样， OGG 12 似乎要写 LoggerFactory.getLogger(SampleHandler.class);
private final Logger logger
= com.goldengate.atg.datasource.test.DsTestUtils.Log4jLogger.getLogger(SampleHandler.class);
@Override
public void init(DsConfiguration conf, DsMetaData metaData) {
super.init(conf, metaData);
logger.info("init!");
WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.init(*)");
}
@Override
public Status transactionCommit(DsEvent e, DsTransaction tx) {
logger.info("transactionCommit!");
WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.transactionCommit(*)");
return Status.OK;
}
@Override
public void destroy() {
super.destroy();
WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.destroy(*)");
logger.info("destroy!");
}
@Override
public String reportStatus() {
WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.reportStatus(*)");
return "reportStatus";
}
public void WriteStringToFile(String filePath, String text) {
try {
System.out.println(text);
File file = new File(filePath);
PrintStream ps = new PrintStream(new FileOutputStream(file));
//ps.println(text);// 往文件里写入字符串
ps.append(text);// 在已有的基础上添加字符串
} catch (FileNotFoundException e) {
e.printStackTrace();
}
}
}
//---------------------------------------------------------------------------------------------------
编译通过，导出 jar包：
再次启动 javaue：
窗口再次一闪而过，启动失败，继续查错。
参考：https://blog.csdn.net/catoop/article/details/49300853
重装 Java环境，重新修改 4个环境变量，验证 java 安装环境。
java -jar D:\hello.jar重启电脑（或者关掉所有 cmd, ggsci 窗口），重新打开 \x86ogg4oralcetarget\ggsci.exe 输入命令： start mgr start javaue
现代诗：《OGG的迷惘》
那一刻，
晶莹的泪水滑过脸庞，
我似乎，
看到了成功的希望。
蹉跎与挣扎，
纠结与迷惘。
在折腾中，我终究能走向想要的远方。
—— 再给我一次机会，让我再配置一次OGG。
—— 不！我选择 死亡（骂娘）~
打油诗：《神坑OGG》
神坑最多OGG，
坑得劳资没脾气。
坑得劳资没脾气~
神坑最多OGG~
开始测试 javaue 插件是否成功：
程序这次崩溃了，对比一下 两种配置：
在下面的配置（崩溃）中，我们看到了一个路径 dirlib/custom.jar。
我们尝试将 eclipse 导出的 jar 文件 D:\Temp\custom.jar，复制到 \x86ogg4oracletarget\dirlib\ 文件夹（dirlib 要手动创建）
再次运行，还是崩溃，还是相同的错误信息：
虽然不报错了，但为什么 我在 insert 时，插件代码没有执行呢？？？
我们删除 javaue，然后重建一下：
再次启动 start javaue —— 记住我的ID，再不成功，我直播倒立写代码 ~
结果我又失望了：插件似乎没有执行 —— 插件的代码会生成一个 D:\ SampleHandler.log 的日志文件的，但结果没有。
我似乎又打脸了 —— 啪啪的疼~
我整个人都不好了，日子本已如此艰难，真心快要过不下去了。
就在我一筹莫展时，我有事没事的 翻看 \x86ogg4oracletarget\ 的几个 6个字母的 文件夹。
意外发现了一个文件，我好奇的将文件打开。
我看到了 一个路径：没错啊！就是我配置的 数据文件夹 路径。
确实没错啊！难道非要验证一下 路径么？我虽然吃路径的亏 上了 5次当了。
—— 但这个路径确实没错啊，还不信，我复制给你看看。
整个人都不好了，文本配置最大的弊端就是：你敲几百几千个字母，一点手误都不能有（尼玛路径错了还没提示）
再次重建 javaue，插入数据 —— 我这次也没抱啥希望了，被折磨哭了都，不想被打脸了。
我看到了 一个 路径： \dirdat\r1000000 —— 感觉很奇怪：
源端 ext1 >>> 目标端 rep1，这种数据文件 都已经到了 r1000005 了 —— 为什么 javaue 还在找 r1000000
—— 要不，在源端 重建一个 ext2，使用 r2，让 javaue 从 r2 找数据？
打开源端 OGG 目录：新建 ext2
源端 添加、启动 ext2，启动成功（我都已经驾轻就熟了） ：
打开目标端，重建 javaue，使用 r2：
这次，我们看到了一段之前没有出现过的代码：
打开 dirdat 目录：
再次执行 insert 脚本，插入数据的那一刻，javaue 崩溃了：
一脸懵逼，整个人都不好了。 就在我手足无措时，我意外看到 D:\ SampleHandler.log 文件被创建了 —— 虽然程序崩溃了，但是Java代码执行了。
FlagFile 意外配置成功了（本文不多说了，就截了个图）
心累了，又折腾了一天时间。直接说结果吧：
OGG Adapter Java，只和 /dirdat/r2000000 这种数据有关【和 版本无关、和 x86 x64 无关，和 源端、目标端 无关。】
整个OGG 所有涉及到的所有路径，都必须使用 反斜杠 /。【如果写成 D:\AAA\x86\ 程序可能会识别为乱码而诡异崩溃。】
尤其注意：添加 javaue 时，路径一定要用 反斜杠 /
其实直到现在，
OGG Adapter Java 11 x86 版本 每次都会崩溃。就是前两个步骤的BUG截图：数据变化捕获到了，Java代码执行了，但是程序崩溃了。
OGG Adapter Java 12 x64 版本，我把 /dirprm/javaue.prm 和 /dirprm/javaue.properties 和 /dirprm/source.def 三个文件 从 11 拷贝到 12， 执行 add extract javaue —— 程序却能正常运行，捕获到数据。
OGG 源端 必须和 Oracle 版本、32\64 位保持一致。
但是 OGG Adapter 没那么多限制。OGG Adapter 只针对 /dirdat/r1 或 /dirdat/r2 这类 Trail 文件。
最终方案如下：
仔细看 右下角： 我增加了一个 OGG 12 x64 —— 由这个 OGG 启动 javaue。
而 javaue 只只要对接 磁盘文件 dirdat\r2000001
虽然 有两个 OGG 11 x86，但是 好在 磁盘 Trail文件 是互通的。
放一个成功运行的截图：
我写了一个 C#程序，每隔一秒 就向 ADMIN.TB_TEST 写入一行记录。
理论上 ROOT.TB_TEST 会同步这些数据。
理论上 javaue 能捕获到 数据变化。
至此，第二目标完成。
最后放出 最终成功的配置：
或者参见 下一篇文章 《OGG Adapter Java一次性成功》
dirprm 文件夹：
javaue.prm 配置：
javaue.properties 配置：
Source.def 是生成的（生成方式看文章前面），手写无效：
custom.jar 是编译后 导出的 jar包：
//---------------------------------------------------------------------------------------
package sample;
import java.io.*;
import java.util.ArrayList;
import java.util.List;
import java.util.Set;
//这是 OGG 11 的 import
//import com.goldengate.atg.datasource.AbstractHandler;
//import com.goldengate.atg.datasource.DsConfiguration;
//import com.goldengate.atg.datasource.DsEvent;
//import com.goldengate.atg.datasource.GGDataSource.Status;
//import com.goldengate.atg.datasource.handler.*;
//import com.goldengate.atg.datasource.meta.DsMetaData;
//import com.goldengate.atg.datasource.test.DsTestUtils.Logger;
//import com.goldengate.atg.datasource.meta.*;
//import com.goldengate.atg.datasource.*;
//这是 OGG 12 的 import
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import oracle.goldengate.datasource.AbstractHandler;
import oracle.goldengate.datasource.DsColumn;
import oracle.goldengate.datasource.DsConfiguration;
import oracle.goldengate.datasource.DsEvent;
import oracle.goldengate.datasource.DsOperation;
import oracle.goldengate.datasource.DsOperation.OpType;
import oracle.goldengate.datasource.DsTransaction;
import oracle.goldengate.datasource.GGTranID;
import oracle.goldengate.datasource.meta.ColumnMetaData;
import oracle.goldengate.datasource.meta.DsMetaData;
import oracle.goldengate.datasource.meta.TableMetaData;
import oracle.goldengate.datasource.meta.TableName;
import oracle.goldengate.datasource.GGDataSource.Status;
public class SampleHandler extends AbstractHandler {
//OGG 11 和 OGG 12 的 日志好像不一样， OGG 12 似乎要写 LoggerFactory.getLogger(SampleHandler.class);
//private final Logger logger = Log4jLogger.getLogger(SampleHandler.class);
private final Logger logger = LoggerFactory.getLogger(SampleHandler.class);
@Override
public void init(DsConfiguration conf, DsMetaData metaData) {
super.init(conf, metaData);
logger.info("init!");
WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.init(*)");
}
@Override
public Status transactionCommit(DsEvent e, DsTransaction tx) {
// DsMetaData meta = e.getMetaData();
// //System.out.println(meta);
//
// Set<TableName> tableNames = meta.getTableNames();
// for(TableName tableName : tableNames){
// String tableStr = "";
// tableStr = tableStr + tableName+" : ";
//
// TableMetaData metaData = meta.getTableMetaData(tableName);
// ArrayList<ColumnMetaData> columns = metaData.getColumnMetaData();
// for(ColumnMetaData column : columns){
// tableStr = tableStr + "\r\n " + column.getColumnName() + " | "+column.getDataType().toString();
// }
//
// System.out.println(tableStr+"\r\n");
// //System.out.println(metaData);
// }
//
// //GGTranID tranId = e.getTargetCheckpointInfo();
// //System.out.println(tranId);
//
// System.out.println(tx.getSize());
// System.out.println(tx.getTotalOps());
// System.out.println(tx.getReadTime());
// System.out.println(tx.getTransactionBeginTime());
//
//
// Object eventSource = e.getEventSource();
// System.out.println(eventSource);
//
// DsOperation lastOp = tx.getLastOperation();
// System.out.println(lastOp);
//
//
// List<DsOperation> listOp = tx.getOperations();
// System.out.println(listOp.size());
// //System.out.println(listOp.get(0).getColumn(0).getBeforeValue());
// for(DsOperation op : listOp){
// System.out.println(op.getTableName());
// }
Status superResult = super.transactionCommit(e, tx);
logger.info("transactionCommit!");
WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.transactionCommit(*) => "+superResult);
return superResult;
}
@Override
public Status operationAdded(DsEvent e, DsTransaction tx, DsOperation dsOperation) {
DsMetaData meta = e.getMetaData();
//System.out.println(meta);
// Set<TableName> tableNames = meta.getTableNames();
// for(TableName tableName : tableNames){
// String tableStr = "";
// tableStr = tableStr + tableName+" : ";
//
// TableMetaData metaData = meta.getTableMetaData(tableName);
// ArrayList<ColumnMetaData> columns = metaData.getColumnMetaData();
// for(ColumnMetaData column : columns){
// tableStr = tableStr + "\r\n " + column.getColumnName() + " | "+column.getDataType().toString();
// }
//
// System.out.println(tableStr+"\r\n");
// //System.out.println(metaData);
// }
System.out.println("---------------------------------------");
OpType opType = dsOperation.getOperationType();
System.out.println(opType);
TableName tableName = dsOperation.getTableName();
System.out.println(tableName.getFullName());
TableMetaData metaData = meta.getTableMetaData(tableName);
ArrayList<ColumnMetaData> columnMetas = metaData.getColumnMetaData();
List<DsColumn> columns = dsOperation.getColumns();
for(int i=0; i<columnMetas.size(); i++){
ColumnMetaData columnMeta = columnMetas.get(i);
DsColumn column = columns.get(i);
System.out.println(" " + columnMeta.getColumnName() + "\t | \t"+ column.getAfterValue() + (column.isChanged()? "\t >>> \t" +column.getAfterValue():""));
}
System.out.println("---------------------------------------");
Status superResult = super.operationAdded(e, tx, dsOperation);
logger.info("operationAdded!");
WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.operationAdded(*) => "+superResult);
return superResult;
}
//@Override
//public DataSourceListener.State getState() {
// return super.getState();
//}
@Override
public void destroy() {
super.destroy();
WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.destroy(*)");
logger.info("destroy!");
}
@Override
public String reportStatus() {
String superResult = "OK"; //super.reportStatus(); 调用父类函数,程序就会崩溃。
WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.reportStatus(*) => "+superResult);
return superResult;
//return "status report...===";
}
public static void WriteStringToFile(String filePath, String text) {
try {
System.out.println("AAAAAAAAAAAAAAAAA :" + text);
FileWriter writer = new FileWriter(filePath, true);
writer.write("\r\n"+text);
writer.close();
} catch (IOException e) {
//e.printStackTrace();
System.out.println(e.getMessage());
}
}
}
//---------------------------------------------------------------------------------------
至此，OGG 两大目标 全部完成。几乎把能踩的坑都踩了一遍。
虽然，我会再写一篇文章 《OGG Adapter Java一次性成功》
—— 但是，不要想太多：你还是得乖乖的回到 这篇文章，学习如何从坑中逃出来。
—— 此篇OGG踩坑文章，踩的各种坑 不下十几种，从配置到代码、从编码格式到反斜杠，从版本到位数，从环境变量到笔误。
—— 作者着实不容易。
最后还是以一首打油诗结尾：
现代诗：《OGG的迷惘》
那一刻，
晶莹的泪水滑过脸庞，
我似乎，
看到了成功的希望。
蹉跎与挣扎，
纠结与迷惘。
在折腾中，我终究能走向想要的远方。
—— 再给我一次机会，让我再配置一次OGG。
—— 不！我选择 死亡（骂娘）~
打油诗：《神坑OGG》
神坑最多OGG，
坑得劳资没脾气。
坑得劳资没脾气~
神坑最多OGG~
两首诗把 OGG 批了一顿，还能怎样呢？当然是选择 原谅他啊。
舒小龙 2018-05-31 20:02
