概述

Oracle备份方式主要分为数据泵导出备份、热备份与冷备份三种，数据泵导出/导入属于逻辑备份，热备份与冷备份都属于物理备份。oracle10g开始推出了数据泵（expdp /impdp），可以使用并行参数选项，因此，相对于传统的exp命令来说，执行效率更高。

今天主要分享下EXPDP、IMPDP规范和一些技巧。

一、并行提升速度

在EXPDP/IMPDP过程中，为了提升速度，而使用并行，有人说不就是加个parallel=n参数嘛，但该如何利用该参数做到真正提升速度呢？

1、单表导出导入数据时使用parallel=n参数无效

2、导入（IMPDP）索引过程中是串行的方式，虽然在执行计划中看到建索引时是带并行参数，但建议使用sqlfile参数生成语句的方式建索引，避免因创建了结构后，再导入数据，这样就会变得异常慢。大概步骤如下：

cat >expdp_testdump.par <<EOF
userid='/ as sysdba'
directory=datadump
dumpfile=expdp_testdump_%U.dmp
logfile=expdp_testdump.log
cluster=no
parallel=2
exclude= index,constraint
EOF
--排除索引和约束，执行导入
nohup impdp parfile=expdp_testdump.par > expdp_testdump.par.out &
--通过sqlfile参数生成创建索引语句
cat >impdp_testdump_idx.par <<EOF
userid='/ as sysdba'
directory=datadump
dumpfile=expdp_testdump_%U.dmp
sqlfile=impdp_testdump_idx.sql
logfile=impdp_testdump_idx.log
cluster=no
parallel=2
tables=scott.testdump
include=index,constraint
EOF
--执行生成创建索引语句（实际并不会导入）
nohup impdp parfile= impdp_testdump_idx.par > impdp_testdump_idx.par.out &
--修改创建索引的并行度，并行度建议不超过CPU核数的1.5倍
--LINUX环境使用
sed -i 's/PARALLEL 1/PARALLEL 16/g' impdp_testdump_idx.sql
--因AIX环境sed没有-i参数，可以使用如下两种方法：
perl -pi -e 's/ PARALLEL 1/PARALLEL 16/g' impdp_testdump_idx.sql
或者
vi impdp_testdump_idx.sql << EOF
:%s/ PARALLEL 1/PARALLEL 16/g
:wq
EOF
--等导入完数据之后，执行建索引的SQL：
cat create_testdump_index.sh
. ~/.profile
sqlplus / as sysdba <<EOF
set timing on
set echo on
set verify on
spool create_testdump_index.log
@impdp_testdump_idx.sql
spool off
exit
EOF
--执行建索引的SQL
nohup sh create_testdump_index.sh> create_testdump_index.sh.out &

以上可能看起来简单的事变的复杂，步骤多了，本来一个参数能解决的事（实际也不能解决），这个步骤已经经过多次实践，解决索引不能并行建的问题。

3、在线调整并行度

当导出导入动作已经发起后，发现并行还可以加大，或者需要减少，该怎么办？

expdp \'\/ as sysdba\' attach=SYS_EXPORT_SCHEMA_01

再执行paralele n就可以调整。

二、含LOB大表导出技巧

在导出含LOB字段的大表时，表未分区，并且表大小已过TB，在导出过程中经常遇到因undo表空间大小和undo_retention设置保留时间，导致ORA-01555: snapshot too old的报错。那该怎么避免呢？

通过rowid或者主键的方式分批导出（推荐使用rowid）

--创建一个表用于记录要导出表的rowid，并分批，这里分成50
create table scott.exp_rowid as select mod(rownum,50) sou_seq,rowid sou_rowid from scott.lobtest;
--根据分批次数生成对应的parfile文件
cat >expdp_lobtest_seq0.par <<EOF
userid='/ as sysdba'
directory=datadump
dumpfile=expdp_lobtest_%U.dmp
logfile=expdp_lobtest.log
cluster=no
tables=scott.lobtest
query="where rowid in (select sou_rowid from scott.exp_rowid where sou_seq=0)"
EOF
--执行导出
nohup expdp expdp_lobtest_20181219_seq0.par > expdp_lobtest_seq0.par.out &
…..
nohup expdp expdp_lobtest_20181219_seq50.par > expdp_lobtest__seq50.par.out &
 
分成50个批次导出,可通过循环生成导出脚本

或者通过如下脚本：

chunk=10
for ((i=0;i<=9;i++));
do
expdp /as sysdba TABLES=LOBTEST QUERY=LOBTEST:\"where mod\(dbms_rowid.rowid_block_number\(rowid\)\, ${chunk}\) = ${i}\" directory=DMP dumpfile=lobtest_${i}.dmp logfile= lobtest_${i}.log &
echo $i
done

三、进度查询和监控

当领导问你导出数据进度时，会不会手忙脚乱的，无从查起？当然，作为一个负责任的DBA，实时的知道导出导入的进度，是必须掌握的技能。

1、 查看数据泵作业的运行情况

select owner_name owr,job_name jbn,operation ope,job_mode jbm,state,degree, attached_sessions atts,datapump_sessions dats from dba_datapump_jobs;
select sid, serial#,session_type from v$session s, dba_datapump_sessions d where s.saddr = d.saddr;

2、监控数据泵的逻辑备份程度

SELECT sid, serial#, context, sofar, totalwork, ROUND(sofar/totalwork*100,2) "%_COMPLETE"
 FROM v$session_longops WHERE totalwork != 0 AND sofar <> totalwork;
 
SID SERIAL# CONTEXT SOFAR TOTALWORK %_COMPLETE
103 89 0 54 7 83.33

3、查看数据泵的详细进度

expdp \'\/ as sysdba\' attach= SYS_IMPORT_TABLE_01
 
Import> status
 
Job: SYS_IMPORT_TABLE_01
 Operation: IMPORT
 Mode: TABLE
 State: EXECUTING
 Bytes Processed: 1,364,791,288
 Percent Done: 99
 Current Parallelism: 2
 Job Error Count: 0
 Dump File: /opt/datadump/expdp_testdump.dmp

后面会分享更多devops和DBA方面的内容，感兴趣的朋友可以关注下~