批量快速的导入导出Oracle的数据(spool缓冲池、java实现）
1. Java代码实现思路
BufferedWriter writefile = new BufferedWriter(new FileWriter(file));
writefile.write("set feedback off \n");
writefile.write("set trimspool on \n");
writefile.write("set heading off \n");
writefile.write("set trimout on \n");
writefile.write("set verify off \n");
writefile.write("set pagesize 0 \n");
writefile.write("set linesize 20000 \n");
writefile.write("define fil= '"+local_path+DataFileName+"' \n");
writefile.write("prompt *** Spooling to &fil \n");
writefile.write("spool &fil \n");
writefile.write(sql+"; \n");
writefile.write("spool off; \n");
writefile.write("exit \n");
writefile.close();
Process process = Runtime.getRuntime().exec("sqlplus " + username + "/" + userpass + " @"+local_path+SqlFileName);
sql=select * from tableA
2. Shell脚本实现
|
#!/usr/bin/sh sqlplus -s jf_isu/12345678 << EOF set pagesize 0 set space 0 set termout off set arraysize 5000--提高效率 set linesize 2000 set feedback off set trimout on settrimspool on set tab off --select * from nls_session_parameters where parameter='NLS_DATE_FORMAT'; --查询当前session的日期格式，有时sqlplus的日期和PL/SQL里面查询的日期格式不一样，导出来没有时分秒。 alter session set nls_date_format='yyyy/mm/dd hh24:mi:ss'; spool /home/bea/app/ftpdata/test.txt --spool.sql格式select t.id||','||t.name||','||t.age from users t; @spool.sql --这样不会刷屏，效率提高。 spool off exit EOF --需要左顶格写。
方法二 sqlplus -s jf_isu/12345678>>spool.txt << EOF set pagesize 0 set space 0 set termout off set arraysize 5000 set linesize 2000 set feedback off set trimout on settrimspool on set tab off select t.id||','||t.name||','||t.age from users t; EOF
在使用sqlldr导入时，表中的日期字段会报reject不能导入，日期格式不符合。此时可以在control file里面对日期字段进行格式化。 LOAD DATA BADFILE "BadFile.txt" DISCARDFILE "DisFile.txt" APPEND INTO TABLE "TEST" FIELDS TERMINATED BY "," TRAILING NULLCOLS (NAME, TIME date "yyyy/mm/dd hh24:mi:ss", --TIME timestamp "yyyy/mm/dd hh24:mi:ss", age ) |
3. 注意事项
1) Oralce数据库表栏位类型为INTEGER时，在导出时需要注意将此栏位类型做一下转换，否则一旦栏位值超过一定长度，则导出的数据文件中，该栏位值将以科学计数法表示。以致数据文件中的值和再导入表中的值与实际值不符。
如:
|
000000 |+|000001 |+|000000|+|31-AUG-11 |+| 198247693|+|-1.636E+09|+| 853889716|+| 0|+| 24096|+| 0|+| 0|+| 0|+| 2523765 |
2) 如上所示导出的数据文件中，各列中存在空格，故建议采用【Shell脚本实现】中的方式实现导出，而不是使用select * from tableName的方式。针对有空格栏位的导入，参见报文《Oracle sqlldr范例一:去空格及日期导入》
------------------------------------------------------------------------------------------------------------------
对于数据量比较大的项目首选的数据库一般是Oracle，正是因为数据量比较大，所以有的时候需要转移数据的时候就更加的复杂。这篇文章我根据自己的经验，从把Oracle的数据导出到txt文件，在导入到数据全面介绍怎样快速的导入导出数据。
首先说这里我们的数据库的用户名和密码都是oracle，这个用户下存在一张用户的表(user)，对应的有两个字段，分别是uname和uid。
对于导出数据，使用的是spool方法，下面是脚本，名字是spool.sh
#!/bin/shif [ $# -ne 2 ]; thenecho "usage:$0 sqlfile outfile";exit 1; fisqlfile=$1;outfile=$2;sqlplus oracle/oracle << EOF spool $outfile set pages 9999 set heading off set echo off set feedback off @$sqlfile spool off exit!
如果我们要导出user表中的数据，我们需要建立一个导出的文件，如user.sql，这里我是用的是"^"作为分隔符，这个可以根据自己的喜好进行选择，一般这样分隔符不会出现在字段的内容那个里就行。
set termout offset echo offset feedback offset linesize 5000 set colsep "^"set heading offset verify offset pagesize 0set trimout onset trimspool onselect uname||'^'||uid from user;
下一步就是执行命令，首先需要spool.sh这文件要具有当前用户的执行的权限，对于Linux来说，赋予文件的执行权限一般是使用chmod，一般我会使用
chmod 777 spool.sh
这样这个用户就具有了执行这个文件的权限，我这种方式属于简单粗暴的方式，我们也可以更详细的给这个文件赋予不同的权限。然后执行如下的命令就可以导出数据了，因为是比较简单的命令所以我就不多说
nohup ./spool.sh user.sql /home/user.txt >> user.log &
执行问以后你可以"ps -ef|grep sql"确定当前的命令确实在执行中，当导出完成后事自动的退出。
下面说一说怎样导入数据，先要准备两个文件分别是user.lst.crl和user.lst.shell,对应的内容如下
user.lst.crl:说明一下，如果我们是想要完全的覆盖表中的数据的时候，可以把"append"换成"replace",是否使用"trim"也是根据情况定的
load data infile '/home/user.txt'append into table userfields terminated by '^'(uname "trim(:<span style="font-family: Arial, Helvetica, sans-serif;">uname</span><span style="font-family: Arial, Helvetica, sans-serif;">)",</span>
uid)
user.lst.shell:这个的“sed '1,5d'”是删除文件的1到5行，"error"是在我们碰到多少条异常的情况后会停止执行导入数据的操作
sed '1,5d' /home/user.txt sqlldr oracle/oracle control=/home/user.lst.crl errors=10000 log=/home/user.lst.log
同样的user.lst.shell需要在当前的用户下，该用户具有可执行的权限，然后执行
nohup ./user.lst.shell &
就行了，同样的道理，你可以"ps"一下确定当前的任务是否在正常的执行，或者看一下日志也行。
--------------------------------------------------------------------------------------------------------------------------------------
set pagesize 0
set space 0
set term off
set linesize 2000
set feedback off
set trimout on
set trimspool on
set tab off
set colsep ',' --分割符
关于SPOOL(SPOOL是SQLPLUS的命令，不是SQL语法里面的东西。)
对于SPOOL数据的SQL，最好要自己定义格式，以方便程序直接导入,SQL语句如：
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;
spool常用的设置
set colsep' '; //域输出分隔符
set echo off; //显示start启动的脚本中的每个sql命令，缺省为on
set feedback off; //回显本次sql命令处理的记录条数，缺省为on
set heading off; //输出域标题，缺省为on
set pagesize 0; //输出每页行数，缺省为24,为了避免分页，可设定为0。
set termout off; //显示脚本中的命令的执行结果，缺省为on
set trimout on; //去除标准输出每行的拖尾空格，缺省为off
set trimspool on; //去除重定向（spool）输出每行的拖尾空格，缺省为off
导出文本数据的建议格式：
SQL*PLUS环境设置SET NEWPAGE NONE
SET HEADING OFF
SET SPACE 0
SET PAGESIZE 0
SET TRIMOUT ON
SET TRIMSPOOL ON
SET LINESIZE 2500
注：LINESIZE要稍微设置大些，免得数据被截断，它应和相应的TRIMSPOOL结合使用防止导出的文本有太多的尾部空格。但是如果LINESIZE设置太大，会大大降低导出的速度，另外在WINDOWS下导出最好不要用PLSQL导出，速度比较慢，直接用COMMEND下的SQLPLUS命令最小化窗口执行。
对于字段内包含很多回车换行符的应该给与过滤，形成比较规矩的文本文件。通常情况下，我们使用SPOOL方法，将数据库中的表导出为文本文件的时候会采用两种方法，如下述：
方法一：采用以下格式脚本
set colsep '|' --设置|为列分隔符
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
set num 18
set feedback off
spool 路径+文件名
select * from tablename;
spool off
方法二：采用以下脚本
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool 路径+文件名
select col1||','||col2||','||col3||','||col4||'..' from tablename;
spool off
比较以上方法，即方法一采用设定分隔符然后由sqlplus自己使用设定的分隔符对字段进行分割，方法二将分隔符拼接在SELECT语句中，即手工控制输出格式。
在实践中，发现通过方法一导出来的数据具有很大的不确定性，这种方法导出来的数据再由sqlldr导入的时候出错的可能性在95%以上，尤其对大批量的数据表，如100万条记录的表更是如此，而且导出的数据文件狂大。
而方法二导出的数据文件格式很规整，数据文件的大小可能是方法一的1/4左右。经这种方法导出来的数据文件再由sqlldr导入时，出错的可能性很小，基本都可以导入成功。
因此，实践中我建议大家使用方法二手工去控制spool文件的格式，这样可以减小出错的可能性，避免走很多弯路。
自测例：将ssrv_sendsms_task表中的数据导出到文本(数据库Oracle 9i 操作系统 SUSE LINUX Enterprise Server 9)
spool_test.sh脚本如下：
#!/bin/sh
DB_USER=zxdbm_ismp #DB USER
DB_PWD=zxin_smap #DB PASSWORD
DB_SERV=zx10_40_43_133 #DB SERVICE NAME
sqlplus -s $DB_USER/$DB_PWD@$DB_SERV<<EOF # -s 参数屏蔽打印到屏幕上的其他信息，只显示sql执行后从DB中查询出来的信息，过滤掉spool函数执行时在文件中写入的其他信息。
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool promt.txt
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;
spool off
EOF
执行./spool_test.sh后生成sp_test.txt，内容如下：
83|115|1|20080307
85|115|11|20080307
86|115|10|20080307
84|115|2|20080307
6|5|14|20080307
7|5|12|20080307
9|5|15|20080307
注：上面自测例中，spool promt.txt中的目标生成文件promt.txt,在HP-UNX环境下的shell脚本中调用Oracle的spool函数，如果将上述逻辑代码封装为一个function，然后来调用这个function的话，则在shell脚本中最终是不会生成promt.txt文件的。只能直接执行逻辑代码，封装后则spool函数失效。
对于promt.txt在相对路径下，下面2中方法在shell环境中执行时，两者只能择一，两者并存则spool函数会失效。假设promt.txt文件生成的路径为：/home/zxin10/zhuo/batchoperate/spoolfile
方式[1]
echo "start spool in shell.."
sqlplus -s zxdbm_ismp/zxin_smap<<EOF
set pagesize 0
set echo off feed off term off heading off trims off
set colsep '|'
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool /home/zxin10/zhuo/batchoperate/spoolfile/promt.txt
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
方式[2]
echo "start spool in shell.."
cd /home/zxin10/zhuo/batchoperate/spoolfile
sqlplus -s zxdbm_ismp/zxin_smap<<EOF
set pagesize 0
set echo off feed off term off heading off trims off
set colsep '|'
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool promt.txt
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
