一、巧用并行提升速度

在EXPDP/IMPDP过程中，为了提升速度，而使用并行，有人说不就是加个parallel=n参数嘛，但该如何利用该参数做到真正提升速度呢？

1、单表导出导入数据时使用parallel=n参数无效

2、导入（IMPDP）索引过程中是串行的方式，虽然在执行计划中看到建索引时是带并行参数，但建议使用sqlfile参数生成语句的方式建索引，避免因创建了结构后，再导入数据，这样就会变得异常慢。大概步骤如下：

cat >expdp_testdump_20181218.par  <<EOF
userid='/ as sysdba'
directory=datadump
dumpfile=expdp_testdump_20181218_%U.dmp
logfile=expdp_testdump_20181218.log
cluster=no
parallel=2
exclude= index,constraint
EOF
--排除索引和约束，执行导入
nohup impdp parfile=expdp_testdump_20181218.par > expdp_testdump_20181218.par.out &
--通过sqlfile参数生成创建索引语句
cat >impdp_testdump_idx_20181218.par <<EOF
userid='/ as sysdba'
directory=datadump
dumpfile=expdp_testdump_20181218_%U.dmp
sqlfile=impdp_testdump_idx_20181218.sql
logfile=impdp_testdump_idx_20181218.log
cluster=no
parallel=2
tables=scott.testdump
include=index,constraint
EOF
--执行生成创建索引语句（实际并不会导入）
nohup impdp parfile= impdp_testdump_idx_20181218.par > impdp_testdump_idx_20181218.par.out &
--修改创建索引的并行度，并行度建议不超过CPU核数的1.5倍
--LINUX环境使用
sed -i 's/PARALLEL 1/PARALLEL 16/g' impdp_testdump_idx_20181218.sql
--因AIX环境sed没有-i参数，可以使用如下两种方法：
perl -pi -e 's/ PARALLEL 1/PARALLEL 16/g' impdp_testdump_idx_20181218.sql
或者
vi impdp_testdump_idx_20181218.sql << EOF
:%s/ PARALLEL 1/PARALLEL 16/g
:wq
EOF
--等导入完数据之后，执行建索引的SQL：
cat create_testdump_index.sh
. ~/.profile
sqlplus / as sysdba <<EOF
set timing on
set echo on
set verify on
spool create_testdump_index.log
@impdp_testdump_idx_20181218.sql
spool off
exit
EOF
--执行建索引的SQL
nohup sh create_testdump_index.sh> create_testdump_index.sh.out &
 

以上可能看起来简单的事变的复杂，步骤多了，本来一个参数能解决的事（实际也不能解决），这个步骤已经经过多次实践，解决索引不能并行建的问题。

3、在线调整并行度

当导出导入动作已经发起后，发现并行还可以加大，或者需要减少，该怎么办？

expdp \'\/ as sysdba\' attach=SYS_EXPORT_SCHEMA_01

再执行paralele n就可以调整。

 二、含LOB大表导出技巧

在导出含LOB字段的大表时，表未分区，并且表大小已过TB，在导出过程中经常遇到因undo表空间大小和undo_retention设置保留时间，导致ORA-01555: snapshot too old的报错。那该怎么避免呢？

通过rowid或者主键的方式分批导出（推荐使用rowid）

--创建一个表用于记录要导出表的rowid，并分批，这里分成50
create table scott.exp_rowid as select mod(rownum,50) sou_seq,rowid sou_rowid from scott.lobtest;
--根据分批次数生成对应的parfile文件
cat >expdp_lobtest_20181219_seq0.par <<EOF
userid='/ as sysdba'
directory=datadump
dumpfile=expdp_lobtest_20181219_%U.dmp
logfile=expdp_lobtest_20181219.log
cluster=no
tables=scott.lobtest
query="where rowid in (select sou_rowid from scott.exp_rowid where sou_seq=0)"
EOF
--执行导出
nohup expdp expdp_lobtest_20181219_seq0.par > expdp_lobtest_20181219_seq0.par.out &
…..
nohup expdp expdp_lobtest_20181219_seq50.par > expdp_lobtest_20181219_seq50.par.out &
 
分成50个批次导出,可通过循环生成导出脚本,这里先不提供循环脚本,后面提供参考
 

或者通过如下脚本：

chunk=10
for ((i=0;i<=9;i++));
do
expdp /as sysdba TABLES=LOBTEST QUERY=LOBTEST:\"where mod\(dbms_rowid.rowid_block_number\(rowid\)\, ${chunk}\) = ${i}\" directory=DMP dumpfile=lobtest_${i}.dmp logfile= lobtest_${i}.log &
echo $i
done
 

 三、多表串行自动化导出导入

有这样一种场景，做OGG初始化时，需要导出导入某个业务不同schema下不同的表，如果表数量比较多的情况下，降低导出导入时对库的压力，可通过以下方式，进行导出导入。

--提供多表自动循环导入脚本，
cat auto_impdp.sh
while read tab_name
do
   impdp_num=`ps -ef|grep impdp|grep -v grep|grep -v "tail "|wc -l`
   while [ $impdp_num -ge 1 ]
   do
     sleep 1m
     impdp_num=`ps -ef|grep impdp|grep -v grep|grep -v "tail "|wc -l`
   done
   par_file='echo "impdp_"$table_name"_181219.par"'
   log_file='echo "impdp_"$table_name"_181219.log"'
   echo 'userid="/ as sysdba"' >$par_file
   echo "dumpfile=expdp_scott_181219_%U.dmp" >>$par_file
   echo "logfile="$log_file >> $par_file
   echo "exclude=statistics,object_grant,index" >> $par_file
   echo "transform=segment_attributes:n" >> $par_file
   echo "tables=("$tab_name")" >> $par_file
   nohup impdp parfile="$par_file " > " $par_file".out 2>&1 &
done <table_list.txt
 

这里可能应用场景并不多，但对于自动化生成脚本可以提供一个很好的参考。

 四、进度查询和监控

但领导问你导数进度时，会不会手忙脚乱的，无从查起？当然，作为一个负责任的DBA，实时的知道导出导入的进度，是必须掌握的技能。

1、  查看数据泵作业的运行情况

select owner_name owr,job_name jbn,operation ope,job_mode jbm,state,degree, attached_sessions atts,datapump_sessions dats from dba_datapump_jobs;
 
select sid, serial#,session_type from v$session s, dba_datapump_sessions d where s.saddr = d.saddr;
 

2、监控数据泵的逻辑备份程度

SELECT sid, serial#, context, sofar, totalwork, ROUND(sofar/totalwork*100,2) "%_COMPLETE"
 FROM v$session_longops WHERE totalwork != 0 AND sofar <> totalwork;
 
SID SERIAL# CONTEXT SOFAR   TOTALWORK   %_COMPLETE
103  89     0       54          7        83.33
 

3、查看数据泵的详细进度

expdp \'\/ as sysdba\' attach= SYS_IMPORT_TABLE_01
 
Import> status
 
Job: SYS_IMPORT_TABLE_01
  Operation: IMPORT
  Mode: TABLE
  State: EXECUTING
  Bytes Processed: 1,364,791,288
  Percent Done: 99
  Current Parallelism: 2
  Job Error Count: 0
  Dump File: /opt/datadump/expdp_testdump_20181218_01.dmp
 

 五、性能诊断技巧

在导出导入过程中，偶尔会遇到一些性能问题，可以会因主机资源，数据库版本，PSU版本，datapump本身bug等原因导致。

首先可根据需求判断是在哪个环节出问题，导出/导入元数据还是数据时出现性能问题；是否是导出/导入特定对象遇到性能问题？对于这些问题，MOS上提供了如下3种诊断方法：

方法一：
在expdp/imdp命令中添加参数METRICS=Y TRACE=480300 (或者 480301 捕获SQL trace) 并重新运行expdp/impdp
方法二：
对DataPump Master (DM) 和 Worker (DW)进程启用level 12的10046 trace (数据库版本 >= 11g)
SQL> connect / as sysdba -- 版本>= 11g and < 12c SQL> alter system set events 'sql_trace {process : pname = dw | pname = dm} level=12'; -- 版本= 12c SQL> alter system set events 'sql_trace {process: pname = dw | process: pname = dm} level=12';
然后用参数METRICS = Y加入命令行启动expdp/impdp
方法三：（推荐）
跟踪已经开始运行的DataPump 导出进程
SQL> connect / as sysdba  set lines 150 pages 100 numwidth 7  col program for a38  col username for a10  col spid for a7  select to_char (sysdate, 'YYYY-MM-DD HH24:MI:SS') "DATE", s.program, s.sid, s.status, s.username, d.job_name, p.spid, s.serial#, p.pid         from   v$session s, v$process p, dba_datapump_sessions d        where  p.addr = s.paddr and s.saddr = d.saddr and             (UPPER (s.program) LIKE '%DM0%' or UPPER (s.program) LIKE '%DW0%');
确认Data Pump Worker SID 和 SERIAL# （例如. 对于 DM 和DW 进程）。  以level 12跟踪 Master/Worker 进程 (bind和wait信息)：
SQL> exec sys.dbms_system.set_ev (SID, SERIAL#, 10046, 12, '');
等待一段时间 (至少1 小时) 以捕获足够的信息。
 结束跟踪：  
SQL> exec sys.dbms_system.set_ev (SID, SERIAL#, 10046, 0, '');
 

以上为MOS提供的诊断方法，可灵活的使用，查询出DataPump进程的SID后可以查询是否有会话阻塞，异常等待事件是什么？比如由于“StreamsAQ: enqueue blocked on low memory”等待事件导致expdp / impdp命令出现严重性能问题，是因为Bug 27634991引起的（在版本19.1及更高版本中修复了）。

 六、其它参数技巧

1、巧用括号将参数包含

导入目标库要求换用户名和表名，比如：

remap_schema=scott:test

remap_table= t1:t2  --无括号需多个参数

可直接写成

remap_table=(scott.t1: test.t2)  --正确姿势

如果没有括号会怎样呢？

remap_table= scott.t1: test.t2

. . imported "SCOTT"."TEST.T2"      0 KB       0 rows –可看到导入的还是SCOTT用户的表

2、  存储参数的消除

当导入到目标端时，如果表空间不同，需要用remap_tablespace转换表空间，且源端导出的元数据是创建表结构的语句是包含预分配段的，此时会占用很多的表空间，可用以下参数消除存储参数。

transform=segment_attributes:n

使用该参数会将对象段分配在导入目标用户的默认表空间上。

3、预估导数时间

有时想预估导出导入某个对象的时间和消耗，而不想真正导入，可以使用estimate

4、关于压缩compression

在空间不足的情况下，使用compression=all进行压缩导入，压缩比大概是1:6左右，根据导出数据类型的不同会有偏差，使用压缩，导出/导入时，耗时较长。

5、include/exclude包含选择性条件时需注意的点

exclude/include参数用法：

exclude=[object_type]:[name_clause],[object_type]:[name_clause]  -->排出特定对象

include=[object_type]:[name_clause],[object_type]:[name_clause]  -->包含特定对象

l  exclude、include参数不能同时使用，这2个参数相斥

l  使用parfile，可以用多个exclude参数，但只能用一个include参数

l  include、exclude参数中，在escape语句中，不能用\作为转义符

6、query参数的使用技巧

直接在命令行输入参数，在linux环境下，所有特殊字符都否要使用\转义

QUERY=SCOTT.TEST1:\"WHERE create_date \>= TO_DATE\(\'20181219 10:00:00\',\'yyyymmdd hh24:mi:ss\'\)\"
 

通过用parfile方式，可以不用加转义符（推荐）

QUERY=SCOTT.TEST1:"WHERE create_date >= TO_DATE('2018-12-19 10:00:00','yyyy-mm-dd hh24:mi:ss')"
 

7、expdp/impdp其它需要注意问题

expdp/impdp是服务端工具，不能导出sys用户下的对象，只能通过exp/imp客户端工具导出导入；对应表空间的建立，表空间大小分配，归档目录大小（导入会产生很多归档），导入索引时temp表空间的大小，源和目标库的版本（高进低出），字符集是否一致，share pool大小等都是需要考虑的点。

七、源和目标导数比对

查询是否存在报错:grep –i ora- expdp_testdump_20181219.log

grep ^". . exported " exp_testdump_20181219.log|awk '{print $4,$7}'|sed 's/"//g'|sort –n>1.txt

grep ^". . exported " imp_testdump_20181219.log|awk '{print $4,$7}'|sed 's/"//g'|sort –n>2.txt

comm 1.txt 2.txt  --比对导出导入记录数是否一致

源和目标对比导出导入对象数是否一致

select owner,object_type,count(*) from dba_objects where owner='SCOTT' group by owner,object_type order by 1,2,3;

 

八、12c的一些新功能

1、 像表一样导出视图

views_as_tables参数允许把视图当成表导出

2、  transform参数的扩展加强

为减少导入期间减少相关日志的产生，可使用transform=disable_archive_logging:y，（包含表和索引级别）导入后再将日志属性重置为LOGGING。

导入时改变表的LOB存储：TRANFORM参数的LOB_STORAGE子句使得在进行非可传输导入操作时改变表的压缩特性。TRANSFORM=LOB_STORAGE:[SECUREFILE | BASICFILE| DEFAULT | NO_CHANGE]

导入时改变表压缩：TRANSFORM参数的TABLE_COMPRESSION_CLAUSE子句允许表导入过程中动态改变表的压缩特性TRANSFORM=TABLE_COMPRESSION_CLAUSE:[NONE |compression_clause]

3、  导出压缩可指定压缩级别

COMPRESSION_ALGORITHM=[BASIC | LOW | MEDIUM |HIGH]

4、  在安全方面，增加了expdp/impdp的审计功能，已经使用加密导出时，加密口令的增强。

5、数据泵用于PDB和用于非CDB数据库没太大差别，要导出/导入某个PDB时，指定对应的就行userid='/ as sysdba@pdb'

 

总结：

使用数据泵进行导出导入需要考虑的地方很多，这里是对以往经验的一些总结，文中没有介绍数据泵在传输表空间中相关的内容和技巧，后续补充。也欢迎各位童鞋评论补充。