Sqoop自定义多字节列分隔符
Sqoop提供的--fields-terminated-by选项可以支持指定自定义的分隔符，但是它只支持单字节的分隔符，对于我们特殊的需求：希望使用双字节的“|!”，默认的是不支持的。
Sqoop在进行每一次的导出任务时，都会调用codegen，生成一个java文件，并编译打包成一个jar，供MapReduce使用。这个java文件包装了一系列的对导出数据的访问接口，我们可以尝试通过对这个java文件进行分析，找到指定双字节分隔符的方法。
一般地，如果是使用的--query用查询语句获取数据，生成的文件为QueryResult.java，QueryResult.jar，如果使用的是--table，则用指定的表名对相应文件命名。java文件生成在sqoop脚本的同一目录下。
对于下面的Sqoop任务，生成test_table.java。
1 sqoop import --connect jdbc:XXX/testdb --username user --password password --table test_table --split-by id --fields-terminated-by '#'
对于test_table.java做代码分析：
首先，看下分隔符的定义（）：
1 DelimiterSet(char field, char record, char enclose, char escape, boolean isEncloseRequired){……}//分隔符集定义 2 3 private final DelimiterSet __outputDelimiters = new DelimiterSet((char) 35, (char) 10, (char) 0, (char) 0, false);// 根据用户输入信息，定义当前分隔符
第一行，分隔符集定义，依次是 fields-terminated-by lines-terminated-by enclosed-by escaped-by，最后一个如果为true，enclosed-by会应用到所有字段，如果为false，只对fields that embed delimiters生效。
注意上面DelimiterSet定义语句，使用的是ASCII对照表。
所以，根据ASCII码表，第二行就很明白了，35是我们指定的'#'的ASCII码值。这里在研究的时候，用到一个trick，就是自己指定一个‘#’作为标记，然后从java代码里面找这个‘#’，它在哪里，就是我们关注的“有效”代码段。
如果，不指定分隔符为‘#’的话，上面的__outputDelimiters 是下面的样子。
1 private final DelimiterSet __outputDelimiters = new DelimiterSet((char) 44, (char) 10, (char) 0, (char) 0, false);// 默认分隔符
44即ASCII表示的‘,’。默认的分隔符，字段用逗号“,”，行用回车“\r\n”。
分隔符的定义搞明白了，接下来看下输出。Sqoop毕竟只是个中间处理环节，最后要数据到指定的目的地。经过几个toString跳转之后，看下面的代码段：
1 public String toString(DelimiterSet delimiters, boolean useRecordDelim) { 2 StringBuilder __sb = new StringBuilder(); 3 char fieldDelim = delimiters.getFieldsTerminatedBy(); 4 __sb.append(FieldFormatter.escapeAndEnclose(id==null?"null":"" + id, delimiters)); 5 __sb.append(fieldDelim); 6 __sb.append(FieldFormatter.escapeAndEnclose(app_no==null?"null":app_no, delimiters)); 7 __sb.append(fieldDelim); 8 9 ……………… 10 __sb.append(FieldFormatter.escapeAndEnclose(seq==null?"null":"" + seq, delimiters)); 11 if (useRecordDelim) { 12 __sb.append(delimiters.getLinesTerminatedBy()); 13 } 14 return __sb.toString(); 15 }
这里fieldDelim从之前定义的分隔符集中获取了字段分隔符，然后拼字符串的方式，在每个字段值后面，附加一个字段分隔符。
看到这里，我们就有思路了，只要把这里fieldDelim的赋值做一下修改，赋值为“|!"，就可以达到我们的目的。
于是，修改此处代码如下（也是唯一的一处修改）：
1 public String toString(DelimiterSet delimiters, boolean useRecordDelim) { 2 StringBuilder __sb = new StringBuilder(); 3 String fieldDelim = “|!”; 4 __sb.append(FieldFormatter.escapeAndEnclose(id==null?"null":"" + id, delimiters)); 5 __sb.append(fieldDelim); 6 __sb.append(FieldFormatter.escapeAndEnclose(app_no==null?"null":app_no, delimiters)); 7 __sb.append(fieldDelim); 8 ………… 9 }
接下来，对修改的test_table.java进行编译。
关于如何编译的问题，通过跟踪sqoop import执行的时候的输出日志：
1 14/05/23 10:55:07 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 2 14/05/23 10:55:07 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time. 3 14/05/23 10:55:07 INFO manager.SqlManager: Using default fetchSize of 1000 4 14/05/23 10:55:07 INFO tool.CodeGenTool: Beginning code generation 5 14/05/23 10:55:08 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM test_table AS t WHERE 1=0 6 14/05/23 10:55:08 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM test_table AS t WHERE 1=0 7 14/05/23 10:55:08 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/lib/hadoop 8 14/05/23 10:55:08 INFO orm.CompilationManager: Found hadoop core jar at: /usr/lib/hadoop/hadoop-core.jar 9 14/05/23 10:55:09 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/3c33c9978c6103e610bf0f4a26fd92fa/test_table.jar 10 14/05/23 10:55:09 INFO mapreduce.ImportJobBase: Beginning import of test_table
通过上面高亮区域提供的信息，得到修改后的java代码的编译及打包方法如下：
1 javac -cp ./:/usr/lib/hadoop/hadoop-core.jar:/usr/lib/sqoop/sqoop-1.4.3.jar test_table.java 2 jar -cf test_table.jar test_table.class
打包完毕后，需要在使用Sqoop进行数据导出的时候，进行jar包的指定，指定的方式如下：
1 sqoop import --connect jdbc:XXX/testdb --username user --password password --table test_table --split-by id --jar-file /path/test_table.jar --class-name test_table
使用的选项为--jar-file和--class-name，其中--jar-file指定了jar的全路径，--class-name指定了用到的包中的java类。
以下是使用修改后的java文件实现的双字节分隔符导出结果。
再谈一下效率。使用这种自定义分隔符，自己手动生成的jar包做数据导入，测试数据5000w：
第一次：17min21sec
第二次：15min42sec
如果不指定jar，默认地执行，按照之前侧过的数据，分别是12min58sec，14min19sec。
看来使用这样的方式，还是对效率有一定的影响。但是也有可能是晚上7点数据库服务器做批量有关，后续要再做实验判定下。
