Oracle数据库实时数据抽取转换技术简述－SmartE

1           信息系统需要数据新的系统架构

随着计算机应用系统的爆炸式发展，业务量迅速增加，业务种类日益复杂，企业必须管理不断增长的信息流量；随着信息量的急剧增大，核心数据的管理变得日益困难。如何安全、可靠地存储业务数据及满足未来业务数据高速增长的需要；如何有效管理日益增长的业务数据；如何实现业务数据的共享并在现有业务数据之上建立新兴的增值应用，如数据仓库、客户关系管理等，成为了各企业建立信息系统的关键所在。目前，各企业信息系统在数据管理领域存在着普遍的问题： 

1.1         数据流通效率低下，企业信息孤岛现象严重

信息系统的建设主要是以应用为驱动的，是随着各种业务的逐渐建设的。当出现一类新的业务时，一般需要为该业务建设一套业务支撑系统，保存与该业务有关的主要数据。而这些数据可能同时也需要被其他应用所访问。从而自然就形成了各子系统应用在不同的纵向，管理着不同的业务单元或对象，各个子系统又是相互独立运行，导致形成了一个个“信息孤岛”。这些系统相互之间没有畅通的信息交流与共享，阻碍了企业信息化建设的整体进程。 

1.2         数据报表、查询和数据共享效率低下

为了提高市场竞争力，提高客户满意度，企业需要更复杂的、更灵活的业务统计报告、需要深入的数据挖掘、需要实时的客户查询。而这些大量的统计、查询业务收到现有系统架构的制约，不得不降低效率标准、不得不推迟报告时间、从而导致客户服务质量降低、业务发展情况报告迟缓，业务发展情况不明等问题。

1.3         企业需要新的信息架构

因此，各企业比以往任何时候相比，管理和有效使用这些信息系统的能力高低都更能决定了长期生存和发展能力，因此比以往任何时候，企业都更关注于如下领域：l         提高系统运行效率，提高业务报表、提高客户服务质量，并降低客户流失率。l         加强企业信息流通、提高企业信息的附加值、进一步挖掘企业信息价值、迅速开发和推广新业务，创造更多收入并保持竞争能力。l         提高信息系统业务连续运行能力，提高数据安全保护水平。  

2           DSG SmartE提供实时数据共享解决方案

提高数据价值、加快数据共享、提高数据利用频率的最佳手段就是加快数据的流通，传统的数据流通非常复杂：

•  一方面是依靠数据提供方编写特定接口来提供实时数据。这就要求每个应用系统都需要为数据订阅方编写特定接口，势必造成接口种类繁多、接口复杂、难以跟上不断变化的业务需求、加大应用开发商的负担等问题；
• 另一方面是靠数据使用方主动从数据源去获取，这就导致了数据的抽取的延迟，经常导致数据的抽取间隔达到每天一次，这远远无法满足数据实时共享的需求。

 

 DSG SmartE软件解决了以上问题。该软通过安装在数据源系统上的代理程序（agent）来对生产数据的变化进行实时跟踪，然后将跟踪到的数据传输到数据订阅方，根据规则对数据进行过滤、转换，根据需求方的自定义格式进行数据装载。该方式在满足数据抽取方面具有几个明显的特点：

（1）实时性SmartE采用数据跟踪和push技术，安装在数据源端的数据变化跟踪程序agent实时跟踪新的数据变化，然后将变化实时发送到数据需求端，数据的延迟可在秒级实现共享。 

（2）可配置性SmartE提供了灵活的配置参数，可通过参数配置来定义需要共享的数据表(table)，共享的数据项（字段），共享的条件（满足条件的记录）。这些都可以通过参数配置，而不需要数据源针对每个数据的要求编写专用的接口。 

（3）低干扰性DSG实时数据复制技术不需要通过任何数据库的引擎来获取变更数据，而是通过数据库自身的信息获取源系统上的改变并传送给目的系统，不会对生产系统造成性能影响。对生产系统的CPU资源占用<5%；

（4）零活性SmartE提供不仅提供了选择表、选择字段和选择记录的复制，并且还提供了数据的转换，例如字段名的映射、数据类型转换、数据运算等。

（5）支持多种复制结构

	单向复制：从一个数据库向另一个数据库复制；
	双向复制：两个数据库进行互相复制；
	广播复制：由一个数据库向多个数据库复制；
	集中复制：由多个数据库向一个数据库复制；
	级联复制：由A数据库向B数据库复制，同时又由B数据库向C数据库进行复制。

 

3           DSG SmartE功能概述

DSG SmartE支持的功能包括：

（1）复制指定用户下的数据可配置需要复制的schema名字，SmartE会将该用户所有的表都复制到目标端；

（2）复制指定的表可配置只需要复制哪些表，哪些表不需要复制

（3）复制指定的数据可配置一个表中的满足条件的记录复制，不满足条件的记录不需要复制

（4）复制指定的列可配置表中需要复制的列，和不需要复制的列

（5）对列的数据进行转换

l         列映射在将源端的表复制到目标端时，将指定表指定字段复制到目标端表的不同名字段中。

l         增加列在将源端的表复制到目标端时，在表中增加一个数据列，其值可以是固定值，也可以是一个表达式的结果。

l         删除列在将源端的表复制到目标端时，从表中删除某个列。

l         列转换在将源端的表复制到目标端时，将源表的某个列的类型、长度等等进行转换。如将VARCHAR2类型转换成INT类型等等。

l         数据转换在将源端的表复制到目标端时，根据配置将源表的某个列的数值进行转换。例如将“男”、“女”转换成“0”和“1”。这种转换不涉及第三张表，也就是说这种转换是固定的。

l         数据分拆在将源端的表复制到目标端时，将源表中一个列的数据分拆到两个字段中。

（6）支持从多个数据库中的同一类型表的记录整合到一个表中去 从多个相同结构的数据库中将数据整合到一个库中，将同类的数据项集合放到一个表中去，便于作集中的业务处理和数据利用。简化应用程序的数据整合功能。

（7）支持数据分发根据业务需要，将一个表中的数据根据其数据的某个属性，把数据分发到不同的目标端，例如从河北省的集中数据库中将属于石家庄的数据分发给石家庄市。 

4           DSG SmartE支持的平台

特性	描述
工作方式	Transaction-Based数据复制
支持数据库版本	Oracle 8i ～ Oracle 11g版本
支持数据类型	支持Oracle  Data Type
支持复制操作类型	DML语句
可选择性复制	选择整库、user、表为复制单位
支持的硬件平台	Sun, HP, IBM, x86
支持的操作系统	Solaris, AIX, HP-UX, Linux
支持的存储系统	EMC,IBM,HDS、HP、SUN以及其它通用的SCSI/FC存储系统
支持多种复制结构	一对一，双向，一对多，多对一
复制时间间隔	可灵活设置
最大距离	没有限制
对系统性能的影响	对主系统CPU占用率在5%。左右