摘要: 初始化加载数据,捕获源数据中的数据内容的变化不重要。但是加载完成后,捕获源系统中的数据变化立即变成非常重要的任务。要提前规划这个任务。必须制定相应的策略来在项目中捕获源数据中不断增长的变化。几种捕获源数据变化的方法:使用审计列:审计列示附在每个表的最后用来存储记录增加或者修改的日期或者时间,审计列一般通过数据库触发器产生,当插入或更新记录的时候自动生成(有时候为了提升性能,这些列由前端产生)。确认审计列是可靠的,则需要制定策略来利用他们,比如:比较每个记录最后修改的日期和时间与上次加载后的最后的日期和时间,取他们中较晚的值。由于事实表和维表可以来源于许多不同的表和系统,并且由于事实表只包含外建 阅读全文
posted @ 2012-09-21 13:26 honkcal 阅读(846) 评论(0) 推荐(0) 编辑
摘要: 数据不同形式,可以通过ODBC连接不同的数据源,ODBC灵活性是以性能为代价的。对于那些通过ODBC处理数据的ETL过程,在ETL系统和后台数据库之间增加了两层:ODBC管理器,ODBC驱动程序主机数据源:有特定的结构加强外围设备通道来处理输入输出,CPU可以专注处理数据,比如计算和均衡。如果源数据在主机系统上,则ETL工具具有从EBCDIC到ASCII的数据转换功能是很重要,如果可能,最好是在主机上进行转换以避免发生任何教小数值的和压缩数字的损失,如果通过磁带或者其他的介质获取,则这种转换必须由非主机环境中的ETL工具来实现。(具体不详细说了,这块接触的不多)平面文件:使用平面文件的原因 1 阅读全文
posted @ 2012-09-21 00:20 honkcal 阅读(1164) 评论(0) 推荐(0) 编辑