DataX实现oracle到oracle之间的数据传递
首先需要注意的是DATAX是通过JDBC的方式读取ORACLE数据,然后通过OCI的方式写数据,DX也可以通过JDBC写的方式进行,但是OCI比JDBC速度更快。
进入DataX安装目录的bin目录,执行命令
./datax.py -e
输入交换数据数据库对应的代码,它会自动生成相应的xml配置文件
编辑配置文件参数,有"?"的是必须配置的,默认的可以保持不变
执行代码:
vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml
DataX Job配置文件ORACLEREADER和ORACLEWIRTER配置项清单
Xml配置文件
其中mandatory:true表示必填
需要注意的是其中tnsfile可以不填保持默认的就行,tnsfile,oracle jdbc连接有2种方式,一种是直接通过jdbc:oracle:thin:@ip:1521/dbname,另外一种是通过本地tns连接,具体的可以通过看源文件里面的oraclereader.java文件了解到,如果你选择tnsfile方式连接填写的tns路径就是你本地客户端的tnsname.ora的具体路径。
还有一点需要注意,这里的dbname要注意清楚,xml配置文件里面的oraclereader和oraclewirter里面的dbname都是服务名,由于一开始我不清楚,写成了SID名,后来遇到错误,调试了好久,最后通过看源码进行测试,以为源码错误,源代码里面的是"/"不是":",然后修改了源码,,才不报错,如果你一开始就写的服务名,后面就不需要修改
以下是两种oracle jdbc连接方式:
服务名连接方式:jdbc:oracle:thin:@ip:1521/dbname
SID连接方式:jdbc:oracle:thin:@ip:dbname
两种运行报错:
SID连接方式,我把dbname写成了服务名
Caused by: java.sql.SQLException: Listener refused the connection with the following error:
ORA-12505, TNS:listener does not currently know of SID given in connect descriptor
The Connection descriptor used by the client was:
192.168.35.193:1521:edwfjtest
服务名连接方式,我写成了SID名
Caused by: java.lang.IllegalStateException: java.sql.SQLException: Listener refused the connection with the following error:
ORA-12514, TNS:listener does not currently know of service requested in connect descriptor
The Connection descriptor used by the client was:
192.168.35.193:1521/edworcl
运行datax.py文件 ,job.xml文件的路径要是绝对路路径
./datax.py vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml
报错:
Causedby:java.lang.UnsatisfiedLinkError: /home/taobao/datax/plugins/writer/oraclewriter/liboraclewriter.so:libclntsh.so.10.1:cannot open shared object file: No such file or directory
解决办法:先看上面的地址里面的文件是不是存在,一般是存在的。
如果存在,则可能是你的liboraclewriter.so文件和你的当前的版本不匹配,liboraclewirter.so最好需要单独编译
编译符合环境的oraclewriter。
datax的文档是这样写的:
由于Oracle最终通过jni调用oci机制导入数据, 默认情况下,DataX提供基于Intel x86_64 liboraclewriter.so包。如果你使用的平台硬件和默认情况不匹配,需要编译oraclewriter C++代码,liboraclewriter.so需要libiconv库的支持,请先检查该库是否存在。具体编译过程如下:
1) 进入 DataX源码中的c++/src/oracledumper/src/ 目录
2) 输入make命令即可编译
3) 将当前目录下编译完成的liboraclewriter.so 拷贝至/home/taobao/datax/plugins/目录下,覆盖默认的liboraclewriter.so即可
注意事项:如果本地代码使用的包名不同于源码的,需要修改对应的文件。
修改文件:include中:xx_OracleWriterJni.h(修改文件名和 OracleWriterJni.h中方法的包路径名。)
src中:xx_OracleWriterJni.cpp (修改文件名)
*这一步是要在oracle软件安装的那一台机器上上面去编译,并且环境变量中指定ORACLE_HOME
*要指明LD_LIBRARY_PATH
*其中还要安装libiconv库(如果没有安装会提示你找不到这个库)
编译的时候还会报错,说找不到文件,但是修改了下面的代码后就没报错了(红色的部分是需要添加的代码)
[root@localhost src]# cat Makefile
INCLUDE=-I../include -I${ORACLE_HOME}/jdk/include-I${ORACLE_HOME}/jdk/include/linux
LIBS=-lclntsh -liconv -L../lib -L${ORACLE_HOME}/lib -L../../../../libs/
CC=g++
OBJS=liboraclewriter.so
CFLAGS=-shared -fPIC -Wl,-rpath=/home/taobao/datax/libs
CPP=common.cpp dumper.cpp oradumper.cpp strsplit.cpp com_taobao_datax_plugins_writer_oraclewriter_OracleWriterJni.cpp
OBJS: $(CPP)
$(CC) $(INCLUDE) -o $(OBJS) $(CPP) $(CFLAGS) $(LIBS)
clean:
rm -rf $(OBJS)
覆盖原来的liboraclewriter.so后,再执行原来的文件。
./datax.py vi /home/taobao/datax/jobs/oraclereader_to_oraclewriter_1459821656288.xml
我的系统又报了一个错误,这个错误很好解决
Causedby:java.lang.UnsatisfiedLinkError:/home/taobao/datax/plugins/writer/oraclewriter/liboraclewriter.so: /home/taobao/datax/plugins/writer/oraclewriter/libclntsh.so.11.1:
cannot restore segment prot after reloc: Permission denied
错误信息:
cannot restore segment prot after reloc: Permission denied
解决办法:
[root@enterprice64 ~]# getenforce
Enforcing
[root@enterprice64 ~]# setenforce 0
[root@enterprice64 ~]# getenforce
Permissive
解决成功,然后,测试成功