DataX实现oracle到oracle之间的数据传递

首先需要注意的是DATAX是通过JDBC的方式读取ORACLE数据,然后通过OCI的方式写数据,DX也可以通过JDBC写的方式进行,但是OCI比JDBC速度更快。

 

进入DataX安装目录的bin目录,执行命令

./datax.py -e

输入交换数据数据库对应的代码,它会自动生成相应的xml配置文件

 

编辑配置文件参数,有"?"的是必须配置的,默认的可以保持不变

执行代码:

vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml

DataX Job配置文件ORACLEREADER和ORACLEWIRTER配置项清单

Xml配置文件

其中mandatory:true表示必填

需要注意的是其中tnsfile可以不填保持默认的就行,tnsfile,oracle jdbc连接有2种方式,一种是直接通过jdbc:oracle:thin:@ip:1521/dbname,另外一种是通过本地tns连接,具体的可以通过看源文件里面的oraclereader.java文件了解到,如果你选择tnsfile方式连接填写的tns路径就是你本地客户端的tnsname.ora的具体路径。

还有一点需要注意,这里的dbname要注意清楚,xml配置文件里面的oraclereader和oraclewirter里面的dbname都是服务名,由于一开始我不清楚,写成了SID名,后来遇到错误,调试了好久,最后通过看源码进行测试,以为源码错误,源代码里面的是"/"不是":",然后修改了源码,,才不报错,如果你一开始就写的服务名,后面就不需要修改

以下是两种oracle jdbc连接方式:

服务名连接方式:jdbc:oracle:thin:@ip:1521/dbname

SID连接方式:jdbc:oracle:thin:@ip:dbname

两种运行报错:

SID连接方式,我把dbname写成了服务名

Caused by: java.sql.SQLException: Listener refused the connection with the following error:

ORA-12505, TNS:listener does not currently know of SID given in connect descriptor

The Connection descriptor used by the client was:

192.168.35.193:1521:edwfjtest

服务名连接方式,我写成了SID名

Caused by: java.lang.IllegalStateException: java.sql.SQLException: Listener refused the connection with the following error:

ORA-12514, TNS:listener does not currently know of service requested in connect descriptor

The Connection descriptor used by the client was:

192.168.35.193:1521/edworcl

 

运行datax.py文件 ,job.xml文件的路径要是绝对路路径

./datax.py vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml

报错:

Causedby:java.lang.UnsatisfiedLinkError: /home/taobao/datax/plugins/writer/oraclewriter/liboraclewriter.so:libclntsh.so.10.1:cannot open shared object file: No such file or directory

解决办法:先看上面的地址里面的文件是不是存在,一般是存在的。

如果存在,则可能是你的liboraclewriter.so文件和你的当前的版本不匹配,liboraclewirter.so最好需要单独编译

编译符合环境的oraclewriter。

datax的文档是这样写的:

由于Oracle最终通过jni调用oci机制导入数据, 默认情况下,DataX提供基于Intel x86_64 liboraclewriter.so包。如果你使用的平台硬件和默认情况不匹配,需要编译oraclewriter C++代码,liboraclewriter.so需要libiconv库的支持,请先检查该库是否存在。具体编译过程如下:

1) 进入 DataX源码中的c++/src/oracledumper/src/ 目录

2) 输入make命令即可编译

3) 将当前目录下编译完成的liboraclewriter.so 拷贝至/home/taobao/datax/plugins/目录下,覆盖默认的liboraclewriter.so即可

注意事项:如果本地代码使用的包名不同于源码的,需要修改对应的文件。

修改文件:include中:xx_OracleWriterJni.h(修改文件名和 OracleWriterJni.h中方法的包路径名。)

src中:xx_OracleWriterJni.cpp (修改文件名)

*这一步是要在oracle软件安装的那一台机器上上面去编译,并且环境变量中指定ORACLE_HOME

*要指明LD_LIBRARY_PATH

*其中还要安装libiconv库(如果没有安装会提示你找不到这个库)

 

编译的时候还会报错,说找不到文件,但是修改了下面的代码后就没报错了(红色的部分是需要添加的代码)

 

[root@localhost src]# cat Makefile

INCLUDE=-I../include -I${ORACLE_HOME}/jdk/include-I${ORACLE_HOME}/jdk/include/linux

LIBS=-lclntsh -liconv -L../lib -L${ORACLE_HOME}/lib -L../../../../libs/

CC=g++

OBJS=liboraclewriter.so

CFLAGS=-shared -fPIC -Wl,-rpath=/home/taobao/datax/libs

CPP=common.cpp dumper.cpp oradumper.cpp strsplit.cpp com_taobao_datax_plugins_writer_oraclewriter_OracleWriterJni.cpp

 

OBJS: $(CPP)

$(CC) $(INCLUDE) -o $(OBJS) $(CPP) $(CFLAGS) $(LIBS)

clean:

rm -rf $(OBJS)

 

 

覆盖原来的liboraclewriter.so后,再执行原来的文件。

./datax.py vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml

我的系统又报了一个错误,这个错误很好解决

Causedby:java.lang.UnsatisfiedLinkError:/home/taobao/datax/plugins/writer/oraclewriter/liboraclewriter.so: /home/taobao/datax/plugins/writer/oraclewriter/libclntsh.so.11.1:

cannot restore segment prot after reloc: Permission denied

错误信息:

cannot restore segment prot after reloc: Permission denied

解决办法:

[root@enterprice64 ~]# getenforce

Enforcing

[root@enterprice64 ~]# setenforce 0

[root@enterprice64 ~]# getenforce

Permissive

解决成功,然后,测试成功

posted @ 2016-04-11 14:15  旷世  阅读(12420)  评论(0编辑  收藏  举报