【原创】修改Sqoop1.4.6源码实现--fields-terminated-by选项支持多字节分隔符
修改Sqoop1.4.6源码实现--fields-terminated-by选项支持多字节分隔符
最近项目中需要使用sqoop实现oracle与hdfs的数据交换,从oracle数据表导入到hdfs集群,以及把hdfs数据导出到oracle数据表。客户要求Hdfs文本文件中,字段分隔符必须是“|@|”。然而发现sqoop的—fields-terminated-by选项只能支持单字节分隔符,无法支持多字节分隔符,难以满足要求。上网搜索了一下,并没有太多公开资料能较好的解决这个问题。这篇文章(http://www.cnblogs.com/YFYkuner/p/3748495.html)是通过修改codegen生成的Java代码,再编译实现多字节分隔。不过这种办法还不够通用,并不能完全满足我的需求。但通过这篇文章可以学习到,分隔符主要是在DelimiterSet这个类定义。所以,我打算修改sqoop的源代码,使其支持多字节分隔。
使用sqoop1.4.6,下载地址:http://www.apache.org/dyn/closer.lua/sqoop/1.4.6
1. Sqoop工作原理
Sqoop在进行导入导出任务时,都会先自动生成一个java文件,并编译打成jar包,再提交到hadoop集群真正执行MapReduce任务。可以先阅读sqoop自动生成的java文件,看看其中数据导入导出的接口,以及分隔符如何被使用。这样可以有一个整体的印象。参考http://www.cnblogs.com/YFYkuner/p/3748495.html
2. 核心代码修改
2.1. 分隔符DelimiterSet的修改
首先了解一下分隔符org.apache.sqoop.lib.DelimiterSet的定义。
第一个字段field就是 –fields-terminated-by 指定的字段分隔符。源文件中变量类型是char,只能支持单字节。因此,首先需要将其修改为String类型,以便支持多字节分隔。
同时,DelimiterSet类的成员变量fieldDelim也需要修改为String类型。
2.2. 从Oracle导入Hdfs的修改
Sqoop主要是使用org.apache.sqoop.orm.ClassWriter类来实现从Oralce导入数据到Hdfs的。ClassWriter通过generateClassForColumns函数自动生成对应的java代码,这些被生成的代码才是真正在hadoop集群上执行。
其中导出到hdfs文本文件这段代码,具体是generateToString函数生成。
由于我们把DelimiterSet的fieldDelim字段类型从char改成了String,因此ClassWriter自动生成的java源码,也需要对应的修改。所以,需要修改如下:
2.3. 从Hdfs导出到Oracle的修改
从Hdfs导出到Oracle数据表,主要改动在于对Hdfs文本记录的解析,能够识别多字节分隔符。文本解析是通过org.apache.sqoop.lib.RecordParser的parseRecord方法来实现的。
源码是通过一个有限状态机来解析文本。我这里用String的split方法做了个最简单的处理来替换。
2.4. 解析--fields-terminated-by参数
sqoop通过命令行参数--fields-terminated-by设置分隔符。所以需要在org.apahe.sqoop.tool.BaseSqoopTool中设置Input和Output的分隔符,修改为字符串类型。修改如下:
2.5. 变更源码文件一览
由于修改了变量类型,以及相关函数参数,为了解决编译错误,还需要修改一些其它java文件。所有被修改的java文件如下。
3. 编译和打包
在ubuntu下使用ant编译和打包。参考sqoop的README,我安装的是jdk1.8.0_121和ant1.10.1。
== Compiling Sqoop
Compiling Sqoop requires the following tools:
* Apache ant (1.7.1) * Java JDK 1.6
Additionally, building the documentation requires these tools:
* asciidoc * make * python 2.5+ * xmlto * tar * gzip
To compile Sqoop, run +ant package+. There will be a fully self-hosted build provided in the +build/sqoop-(version)/+ directory. |
执行ant package命令即可。
在build下得到构建产物。
BTW:这里我指定了hadoop版本是2.6.1,只要在build.xml中修改版本号即可。
4. 测试
从Oracle导入Hdfs:
sqoop import --connect jdbc:oracle:thin:@ip:port --username username --password password --target-dir /hdfs/cluster/sqoop/dir --table oracletable --fields-terminated-by \\\\\|@\\\\\|
从Hdfs导出Oracle:
sqoop export --connect jdbc:oracle:thin:@ip:port --username username --password password --table oracletable --fields-terminated-by \\\\\|@\\\\\| --export-dir /hdfs/cluster/sqoop/dir
验证发现hdfs文件中字段分隔符确实是“|@|”,测试通过。
最后抛出一个问题供思考:分隔符是“|@|”,但为什么测试命令中--fields-terminated-by 指定的却是“\\\\\|@\\\\\|”呢?