Oracle操作大量数据方法总结
一、插入大量数据
--创建存储过程语句
CREATE OR REPLACE PROCEDURE p_insert
IS
--批量提交参数
num NUMBER;
BEGIN
FOR i IN 1..10000000 LOOP
--插入语句
insert into USERINFO (ID, NAME, AGE, ADDRESS, OCCUPATION_NAME)
values (1, 'ouhy', 25, '广东省佛山市南海区XXXX公司', '测试工程师); --执行插入
num:=num+1;
--5000笔提交一次，分批量提交，及时释放redo log buffer
IF Mod(num,5000)=0 THEN
COMMIT;
END IF;
END LOOP;
END;
--执行语句
begin
p_insert;
commit;
end;
一.删除大量数据（例如：table A 有2000万w数据，需要删除1000w）
1.先将不删除1000w的数据导入到临时表 Table B 中
create table B as select id,name from table A where .....
2.然后将2000w数据整个删除(这个在有备份情况下才用的)
truncate table A; 或者 drop table A;
3.将数据从临时表全部导回来
insert into table A select * from table B
create table A as select id,name from B;
4. 然后删除临时表
drop table B;
-------------------------附上 ORACLE DELETE 和 TRUNCATE区别---------------------------------------
语法
delete from aa
truncate table aa
区别
1.delete from后面可以写条件，truncate不可以。
2.delete from记录是一条条删的，所删除的每行记录都会进日志，而truncate一次性删掉整个页，因此日至里面只记录页释放，简言之，delete from更新日志，truncate基本不，所用的事务日志空间较少。
3.delete from删空表后，会保留一个空的页，truncate在表中不会留有任何页。
4.当使用行锁执行 DELETE 语句时，将锁定表中各行以便删除。truncate始终锁定表和页，而不是锁定各行。
5.如果有identity产生的自增id列，delete from后仍然从上次的序列开始增加，即序列不变，而truncate后，序列会恢复初始。
6.truncate不会触发delete的触发器，因为truncate操作不记录各个行删除。
总结
1.truncate和 delete只删除数据不删除表的结构(定义)
drop语句将删除表的结构被依赖的约束(constrain),触发器(trigger),索引(index); 依赖于该表的存储过程/函数将保留,但是变为invalid状态。
2.delete语句是dml,这个操作会放到rollback segement中,事务提交之后才生效;如果有相应的trigger,执行的时候将被触发
truncate,drop是ddl, 操作立即生效,原数据不放到rollback segment中,不能回滚. 操作不触发trigger。
3.delete语句不影响表所占用的extent, 高水线(high watermark)保持原位置不动
显然drop语句将表所占用的空间全部释放
truncate 语句缺省情况下见空间释放到 minextents个 extent,除非使用reuse storage; truncate会将高水线复位(回到最开始)。
4.速度,一般来说: drop> truncate > delete
5.安全性:小心使用drop 和truncate,尤其没有备份的时候.否则哭都来不及。
6.使用上,想删除部分数据行用delete,注意带上where子句. 回滚段要足够大. 想删除表,当然用drop
想保留表而将所有数据删除. 如果和事务无关,用truncate即可. 如果和事务有关,或者想触发trigger,还是用delete
如果是整理表内部的碎片,可以用truncate跟上reuse stroage,再重新导入/插入数据。
------------------------------------------------------------------------------------------------------------------------
二、删除大量重复记录
1、利用rowid
在oracle中，每一条记录都有一个rowid，rowid在整个数据库中是唯一的，rowid确定了每条记录是oracle中的哪一个数据文件、块、行上。在重复的记录中，可能所有列的内容都相同，但rowid不会相同。SQL语句如下：
delete from tbl where rowid in (select a.rowid
from tbl a, tbl b
where a.rowid>b.rowid and a.col1=b.col1 and a.col2 = b.col2)
如果已经知道每条记录只有一条重复的，这个sql语句适用。但是如果每条记录的重复记录有N条，这个N是未知的，就要考虑适用下面这种方法了。
2、利用max或min函数
这里也要使用rowid，与上面不同的是结合max或min函数来实现。SQL语句如下
delete from tbl a
where rowid not in (
select max(b.rowid)
from tbl b
where a.col1=b.col1 and a.col2 = b.col2); //这里max使用min也可以
或者用下面的语句
delete from tbl a where rowid<(
select max(b.rowid)
from tbl b
where a.col1=b.col1 and a.col2 = b.col2);
