(Oracle)已有数据表建立表分区—在线重定义
今天在做数据抽取的时候,发现有一张业务表数据量达到了5000W,所以就想将此表改为分区表。分区表的有点如下:
1、改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,提高检索速度。
2、增强可用性:如果表的某个分区出现故障,表在其他分区的数据仍然可用;
3、维护方便:如果表的某个分区出现故障,需要修复数据,只修复该分区即可;
4、均衡I/O:可以把不同的分区映射到磁盘以平衡I/O,改善整个系统性能。
2、增强可用性:如果表的某个分区出现故障,表在其他分区的数据仍然可用;
3、维护方便:如果表的某个分区出现故障,需要修复数据,只修复该分区即可;
4、均衡I/O:可以把不同的分区映射到磁盘以平衡I/O,改善整个系统性能。
第一步:首先对要在线重定义的表自行验证,看该表是否可以重定义,如果不可以则会提示错误信息
SQL> execute dbms_redefinition.can_redef_table('CDR','HDSD00_0203_ZYFYMXB'); PL/SQL procedure successfully completed.
第二步:建立和源表一样的分区表。建表语句过长就不粘贴在此处了,这一步可以用pl/sql工具登录建表,避免在SQLPLUS环境下把表建立到sys用户下,导致找不到表。
第三步:执行表的在线重定义;
SQL> execute dbms_redefinition.start_redef_table('CDR','HDSD00_0203_ZYFYMXB','HDSD00_0203_ZYFYMXB_BAK'); PL/SQL procedure successfully completed.
第四步:执行中间表和数据源表的数据同步。
SQL> execute dbms_redefinition.sync_interim_table('CDR','HDSD00_0203_ZYFYMXB','HDSD00_0203_ZYFYMXB_BAK'); PL/SQL procedure successfully completed.
第五步: 执行结束在线定义过程。
SQL> execute dbms_redefinition.finish_redef_table('CDR','HDSD00_0203_ZYFYMXB','HDSD00_0203_ZYFYMXB_BAK'); PL/SQL procedure successfully completed.
补充步骤:第六步:在做在线重定义过程中,可能因为各种各样的原因没有按照上述步骤执行下来,中途中断了。这种情况下在执行上述操作会报类似如下错误:
SQL> execute dbms_redefinition.can_redef_table('CDR','HDSD00_0203_ZYFYMXB'); BEGIN dbms_redefinition.can_redef_table('CDR','HDSD00_0203_ZYFYMXB'); END; * ERROR at line 1: ORA-23539: table "CDR"."HDSD00_0203_ZYFYMXB" currently being redefined ORA-06512: at "SYS.DBMS_REDEFINITION", line 143 ORA-06512: at "SYS.DBMS_REDEFINITION", line 1635 ORA-06512: at line 1
这时候我们需要停掉过程重新来才行。
SQL> execute dbms_redefinition.abort_redef_table('CDR','HDSD00_0203_ZYFYMXB','HDSD00_0203_ZYFYMXB_BAK'); PL/SQL procedure successfully completed.
还有一种情况当我们表数据量较大时,可能执行上述过程会没有报错也没有反应,此时是系统正在执行上述过程,千万不要退出,耐心等待一会。
在线重定义也有限制,如下情况不能使用在线重定义:
1、你必须有足以维护两份表格拷贝的空间。
2、你不能更改主键栏。表格必须有主键。
3、维护方便:如果表的某个分区出现故障,需要修复数据,只修复该分区即可;必须在同一个大纲中进行表格重定义。
4、在重定义操作完成之前,你不能对新加栏加以NOT NULL约束。
5、表格不能包含LONG、BFILE以及用户类型(UDT)。
6、不能重定义链表(clustered tables)。
7、不能在SYS和SYSTEM大纲中重定义表格。
8、不能用具体化视图日志(materialized view logs)来重定义表格;不能重定义含有具体化视图的表格。
9、不能在重定义过程中进行横向分集(horizontal subsetting)。
3、维护方便:如果表的某个分区出现故障,需要修复数据,只修复该分区即可;必须在同一个大纲中进行表格重定义。
4、在重定义操作完成之前,你不能对新加栏加以NOT NULL约束。
5、表格不能包含LONG、BFILE以及用户类型(UDT)。
6、不能重定义链表(clustered tables)。
7、不能在SYS和SYSTEM大纲中重定义表格。
8、不能用具体化视图日志(materialized view logs)来重定义表格;不能重定义含有具体化视图的表格。
9、不能在重定义过程中进行横向分集(horizontal subsetting)。
--------------------------------------------------------------------------------------------------------------------------------------------------
更多详细请看介绍(转载):
在一个高可用系统中,如果需要改变一个表的定义是一件比较棘手的问题,尤其是对于7×24系统。Oracle提供的基本语法基本可以满足一般性修改,但是对于把普通堆表改为分区表,把索引组织表修改为堆表等操作就无法完成了。而且,对于被大量DML语句访问的表,幸运的是,Oracle从9i版本开始提供了在线重定义表功能,通过调用DBMS_REDEFINITION包,可以在修改表结构的同时允许DML操作。
在线重定义表具有以下功能:
1.修改表的存储参数;
2.可以将表转移到其他表空间;
3.增加并行查询选项;
4.增加或删除分区;
5.重建表以减少碎片;
6.将堆表改为索引组织表或相反的操作;
7.增加或删除一个列。
调用DBMS_REDEFINITION包需要EXECUTE_CATALOG_ROLE角色,除此之外,还需要CREATE ANY TABLE、ALTER ANY TABLE、DROP ANY TABLE、LOCK ANY TABLE和SELECT ANY TABLE的权限。
在线重定义表的步骤如下:
1.选择一种重定义方法:
存在两种重定义方法,一种是基于主键、另一种是基于ROWID。ROWID的方式不能用于索引组织表,而且重定义后会存在隐藏列M_ROW$$。默认采用主键的方式。
2.调用DBMS_REDEFINITION.CAN_REDEF_TABLE()过程,如果表不满足重定义的条件,将会报错并给出原因。
3.在用一个方案中建立一个空的中间表,根据重定义后你期望得到的结构建立中间表。比如:采用分区表,增加了COLUMN等。
4.调用DBMS_REDEFINITION.START_REDEF_TABLE()过程,并提供下列参数:被重定义的表的名称、中间表的名称、列的映射规则、重定义方法。
如果映射方法没有提供,则认为所有包括在中间表中的列用于表的重定义。如果给出了映射方法,则只考虑映射方法中给出的列。如果没有给出重定义方法,则认为使用主键方式。
5.在中间表上建立触发器、索引和约束,并进行相应的授权。任何包含中间表的完整性约束应将状态置为disabled。
当重定义完成时,中间表上建立的触发器、索引、约束和授权将替换重定义表上的触发器、索引、约束和授权。中间表上disabled的约束将在重定义表上enable。
6.(可选)如果在执行DBMS_REDEFINITION.START_REDEF_TABLE()过程和执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程直接在重定义表上执行了大量的DML操作,那么可以选择执行一次或多次的SYNC_INTERIM_TABLE()过程,以减少最后一步执行FINISH_REDEF_TABLE()过程时的锁定时间。
7.执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程完成表的重定义。这个过程中,原始表会被独占模式锁定一小段时间,具体时间和表的数据量有关。执行完FINISH_REDEF_TABLE()过程后,原始表重定义后具有了中间表的属性、索引、约束、授权和触发器。中间表上disabled的约束在原始表上处于enabled状态。
8.(可选)可以重命名索引、触发器和约束。对于采用了ROWID方式重定义的表,包括了一个隐含列M_ROW$$。推荐使用下列语句经隐含列置为UNUSED状态或删除。
ALTER TABLE TABLE_NAME SET UNUSED (M_ROW$$); ALTER TABLE TABLE_NAME DROP UNUSED COLUMNS;
原始表根据中间表的属性和特性进行重定义;
START_REDEF_TABLE()和FINISH_REDEF_TABLE()操作之间在中间表上建立的触发器、索引、约束和授权,现在定义在原始表上。中间表上disabled的约束在原始表上处于enabled状态。
原始表上定义的触发器、索引、约束和授权建立在中间表上,并会在删除中间表时删除。原始表上原来enabled状态的索引,建立在中间表上,并处于disabled状态。
任何定义在原始表上的存储过程和游标都会变为INVALID,当下次调用时后自动进行编译。
如果执行过程中出现错误或者人为选择退出的话,可以执行DBMS_REDEFINITION.ABORT_REDEF_TABLE()过程。
其中UNAME 参数是指用户;
Oracle的普通表没有办法通过修改属性的方式直接转化为分区表,必须通过重建的方式进行转变,下面介绍三种效率比较高的方法,并说明它们各自的特点。
方法一:利用原表重建分区表。
步骤:
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
表已创建。
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;
SQL> COMMIT;
SQL> CREATE TABLE T_NEW (ID, TIME) PARTITION BY RANGE (TIME) 2 (PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')), 3 PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')), 4 PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')), 5 PARTITION P4 VALUES LESS THAN (MAXVALUE)) 6 AS SELECT ID, TIME FROM T;
SQL> RENAME T TO T_OLD;
SQL> RENAME T_NEW TO T;
SQL> SELECT COUNT(*) FROM T; COUNT(*) ---------- 6264 SQL> SELECT COUNT(*) FROM T PARTITION (P1); COUNT(*) ---------- 0 SQL> SELECT COUNT(*) FROM T PARTITION (P2); COUNT(*) ---------- 6246 SQL> SELECT COUNT(*) FROM T PARTITION (P3); COUNT(*) ---------- 18
不足:对于数据的一致性方面还需要额外的考虑。由于几乎没有办法通过手工锁定T表的方式保证一致性,在执行CREATE TABLE语句和RENAME T_NEW TO T语句直接的修改可能会丢失,如果要保证一致性,需要在执行完语句后对数据进行检查,而这个代价是比较大的。另外在执行两个RENAME语句之间执行的对T的访问会失败。
适用于修改不频繁的表,在闲时进行操作,表的数据量不宜太大。
方法二:使用交换分区的方法。
步骤:
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS; 已创建6264行。 SQL> COMMIT;
SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME) 2 (PARTITION P1 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')), 3 PARTITION P2 VALUES LESS THAN (MAXVALUE)); 表已创建。 SQL> ALTER TABLE T_NEW EXCHANGE PARTITION P1 WITH TABLE T; 表已更改。 SQL> RENAME T TO T_OLD; 表已重命名。 SQL> RENAME T_NEW TO T; 表已重命名。 SQL> SELECT COUNT(*) FROM T; COUNT(*) ---------- 6264
不足:仍然存在一致性问题,交换分区之后RENAME T_NEW TO T之前,查询、更新和删除会出现错误或访问不到数据。如果要求数据分布到多个分区中,则需要进行分区的SPLIT操作,会增加操作的复杂度,效率也会降低。
适用于包含大数据量的表转到分区表中的一个分区的操作。应尽量在闲时进行操作。
方法三:Oracle9i以上版本,利用在线重定义功能
步骤:
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE); 表已创建。 SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS; 已创建6264行。 SQL> COMMIT;
SQL> EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE(USER’, 'T', DBMS_REDEFINITION.CONS_USE_PK); PL/SQL 过程已成功完成。 SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME) 2 (PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')), 3 PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')), 4 PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')), 5 PARTITION P4 VALUES LESS THAN (MAXVALUE)); 表已创建。 SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, 'T', 'T_NEW', - > 'ID ID, TIME TIME', DBMS_REDEFINITION.CONS_USE_PK);
SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, 'T', 'T_NEW') PL/SQL 过程已成功完成。 SQL> EXEC dbms_redefinition.sync_interim_table(‘USER’, 'T', 'T_NEW')
SQL> EXEC DBMS_REDEFINITION.FINISH_REDEF_TABLE(USER’, 'T', 'T_NEW'); PL/SQL 过程已成功完成。
DBMS_REDEFINITION.ABORT_REDEF_TABLE过程有三个参数,即用户(schema)、原始表格(original table name)名称以及持有表格名称(holding table name)。它“出栈”并允许你开始重组织表格。
SQL> SELECT COUNT(*) FROM T; SQL> SELECT COUNT(*) FROM T PARTITION (P2); SQL> SELECT COUNT(*) FROM T PARTITION (P3);
优点:保证数据的一致性,在大部分时间内,表T都可以正常进行DML操作。只在切换的瞬间锁表,具有很高的可用性。这种方法具有很强的灵活性,对各种不同的需要都能满足。而且,可以在切换前进行相应的授权并建立各种约束,可以做到切换完成后不再需要任何额外的管理操作。
不足:实现上比上面两种略显复杂。
适用于各种情况。
然而,在线表格重定义也不是完美无缺的。下面列出了Oracle9i重定义过程的部分限制。你必须有足以维护两份表格拷贝的空间。你不能更改主键栏。表格必须有主键。必须在同一个大纲中进行表格重定义。在重定义操作完成之前,你不能对新加栏加以NOT NULL约束。表格不能包含LONG、BFILE以及用户类型(UDT)。不能重定义链表(clustered tables)。 不能在SYS和SYSTEM大纲中重定义表格。不能用具体化视图日志(materialized view logs)来重定义表格;不能重定义含有具体化视图的表格。 不能在重定义过程中进行横向分集(horizontal subsetting)。