转载:利用sqluldr2导出数据和sqlldr导入数据的方法

Oracle数据导出工具sqluldr2可以将数据以csv、txt等文件格式导出,适用于大批量数据的导出,导出速度非常快,导出后可以使用Oracle SQL Loader工具将数据导入到数据库中。下面将介绍Sqluldr2和sqlldr在Windows平台下的数据处理过程。
 
一、软件下载地址
 
下载完sqluldr解压后,文件夹内容如下:
sqluldr2.exe  用于32位windows平台;  
sqluldr2_linux32_10204.bin  适用于linux32位操作系统;
sqluldr2_linux64_10204.bin  适用于linux64位操作系统;
sqluldr264.exe   用于64位windows平台。
 
文件内容如下图所示:
利用sqluldr2导出数据和sqlldr导入数据的方法

 
二、sqluldr2 使用方法
1、首先将sqluldr2.exe复制到执行目录下,即可开始使用
 
2、查看help 帮助
利用sqluldr2导出数据和sqlldr导入数据的方法

3、执行数据导出命令
3.1、常规导出
sqluldr2 test/test@127.0.1.1/orcl query="select * from temp_001" head=yes file=d:\tmp001.csv
说明:head=yes   表示输出表头
利用sqluldr2导出数据和sqlldr导入数据的方法
 
3.2、使用sql参数
sqluldr2 test/test@127.0.1.1/orcl sql=test_sql.sql head=yes file=d:\tmp001.csv
test_sql的内容为:
select * from temp_001
利用sqluldr2导出数据和sqlldr导入数据的方法

3.3、使用log参数
当集成sqluldr2在脚本中时,就希望屏蔽上不输出这些信息,但又希望这些信息能保留,这时可以用“LOG”选项来指定日志文件名。
sqluldr2 test/test@127.0.1.1/orcl sql=test_sql.sql head=yes file=d:\tmp001.csv log=+d:\tmp001.log
利用sqluldr2导出数据和sqlldr导入数据的方法
 
3.4、使用 table 参数
当使用 table 参数时,在目录下会生成对应的ctl控制文件,如下语句会生成temp_001_sqlldr.ctl文件。
sqluldr2 test/test@127.0.1.1/orcl query="select * from temp_001" table=temp_001 head=yes file=d:\tmp001.csv
利用sqluldr2导出数据和sqlldr导入数据的方法

生成的控制文件temp_001_sqlldr.ctl的内容如下:
利用sqluldr2导出数据和sqlldr导入数据的方法

4、主要参数说明
Field  分隔符  指定字段分隔符,默认为逗号  
record 分隔符  指定记录分隔符,默认为回车换行,Windows下的换行 
quote  引号符  指定非数字字段前后的引号符
 
例如现在要改变默认的字段分隔符,用“#”来分隔记录,导出的命令如下所示:
sqluldr2  test/test sql=tmp.sql field=# 
 
在指定分隔符时,可以用字符的ASCII代码(0xXX,大写的XX为16进制的ASCII码值)来指定一个字符,常用的字符的ASCII代码如下:
回车=0x0d,换行=0x0a,TAB键=0x09,|=0x7c,&=0x26,双引号=0x22,单引号=0x27
 
在选择分隔符时,一定不能选择会在字段值中出现的字符组合,如常见的单词等,很多次导入时报错,回过头来找原因时,都发现是因为分隔符出现在字段值中了。
 
 
三、sqlldr 使用方法
sqlldr工具可以将文本数据导入到数据库表中,
 
1、查看sqlldr 的帮助文档
利用sqluldr2导出数据和sqlldr导入数据的方法

2、创建测试文件
在D盘根目录下创建测试文件tmp_insert.txt ,其内容如下:
PROD_ID,ACC_NUM
18283918,18762535162
12361527,18482762831
 
3、创建控制文件tmp_insert01.ctl
内容如下:
options(direct=true,errors=10000000,skip=1) 
load data 
characterset zhs16gbk
into table temp_001 truncate
fields terminated by ',' optionally enclosed by '"'
trailing nullcols
  prod_id   "trim(:prod_id)",
  acc_num "trim(:acc_num)"
)
 
参数说明:
characterset :字符集, 一般使用字符集 AL32UTF8,如果出现中文字符集乱码时,改成 ZHS16GBK。
fields terminated by 'string':文本列分隔符。当为tab键时,改成'\t',或者 X'09';空格分隔符 whitespace,换行分隔符 '\n' 或者 X'0A';回车分隔符 '\r' 或者 X'0D';默认为'\t'。
optionally enclosed by 'char':字段包括符。当为 ' ' 时,不把字段包括在任何引号符号中;当为 "'" 时,字段包括在单引号中;当为'"'时,字段在包括双引号中;默认不使用引用符。
fields escaped by 'char':转义字符,默认为'\'。
trailing nullcols:表字段没有对应的值时,允许为空。
 
insert:为缺省方式,在数据装载开始时要求表为空;
append:在表中追加新记录  ;
replace:删除旧记录,替换成新装载的记录 ;
truncate:先清空表,再添加记录;
skip=1 :表示插入数据时,跳过第一行(标题),从第二行开始导入;
 
4、执行数据导入处理
sqlldr test/test@127.0.1.1/orcl data=d:\tmp_insert.txt control=d:\tmp_insert01.ctl log=d:\tmp_insert01.log bad=d:\tmp_insert01.bad
利用sqluldr2导出数据和sqlldr导入数据的方法

 
注意:在数据导入数据库表后,查询表数据时,会发现最后一个字段的数据中含有类似空格的字符,其实不是空格,是回车换行符,通过replace函数将其替换掉即可,如下红色部分处理
options(direct=true,errors=10000000,skip=1) 
load data 
characterset zhs16gbk
into table temp_001 truncate
fields terminated by ',' optionally enclosed by '"'
trailing nullcols
  prod_id  char(32)  "trim(:prod_id)",
  acc_num  char(20)  "replace(:acc_num,chr(13),'')"
)
 
5、支持定义的数据类型
可以定义14种数据类型:
CHAR
DATE
DECIMAL EXTERNAL
DECIMAL
DOUBLE
FLOAT
FLOAT EXTERNAL
GRAPHIC EXTERNAL
INTEGER
INTEGER EXTERNAL
SMALLINT
VARCHAR
VARGRAPHIC
a.字符类型数据
CHAR[ (length)] [delimiter]
length缺省为 1.
b.日期类型数据
DATE [ ( length)]['date_format' [delimiter]
使用to_date函数来限制。
c.字符格式中的十进制
DECIMAL EXTERNAL [(length)] [delimiter]
用于常规格式的十进制数(不是二进制=> 一个位等于一个bit)。
d.压缩十进制格式数据
DECIMAL (digtial [,precision])
e.双精度符点二进制
DOUBLE
f.普通符点二进制
FLOAT
g.字符格式符点数
FLOAT EXTERNAL [ (length) ] [delimiter]
h.双字节字符串数据
GRAPHIC [ (legth)]
i.双字节字符串数据
GRAPHIC EXTERNAL[ (legth)]
j.常规全字二进制整数
INTEGER
k.字符格式整数
INTEGER EXTERNAL
l.常规全字二进制数据
SMALLINT
m.可变长度字符串
VARCHAR
n.可变双字节字符串数据
VARGRAPHIC
 
6、常见错误示例
SQL*Loader-601: For INSERT option, table must be empty.
这时需要,更改为追加(append)方式加载数据。

创建控制文件tmp_insert01.ctl,内容如下:
OPTIONS(DIRECT=TRUE,ERRORS=10000000,skip=1)
LOAD DATA
--INFILE 'd:\tmp_insert.txt'
CHARACTERSET AL32UTF8
APPEND INTO TABLE TEMP_001
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
  PROD_ID       "TRIM(:PROD_ID)",
  ACC_NUM     "TRIM(:ACC_NUM)"
)

 
 
 
本文主要参考:http://wenku.baidu.com/link?url=iNKiOMxvdvVTmLb-6sNlRLLcxF6XON-J4gbYoAzxcY1eFpqVAmhpBK-crQCpEDcfo4s6fH2CtERiqIbjErHQp03rhow4EURBnJLNOcbY6VK
 
转载至:http://blog.sina.com.cn/s/blog_5ceb51480102vppw.html
这个文档,不能再详细了:http://wenku.baidu.com/link?url=B8kPr5rK9W6nv8Ni9PeVIunQdfmfedTckN6UFKE-X2G38yt_NYFUFrmWhyohWJPxo3-NbBp9qNaw-KF6wn2zHCselPHyIJcNgMERhiMyf97
posted @ 2017-01-23 10:42  莫青铜  阅读(7273)  评论(0编辑  收藏  举报