从上亿数据中抽取千万数据只需10分钟内

　　随着业务,数据量的不断提升和业务对报表实时程度的不断提高,老一套的ETL即将被淘汰.

老板的一句一小时看到数据,意味着生命不止折腾不息。

现在的etl 通过多台etl机器来实现负载均衡.ods 层的结构和线上库结构一致.

ods层采用raid 多快独立的disk,多个HAB。对于读取速度特别慢的表采用复制对象+分区表技术来实现几百万数据几分钟装载.

详细见

http://www.cnblogs.com/xwj1985/archive/2010/08/19/1803272.html

对于异构数据库暂时只是小数据量的抽取.当数据量到一定程度可采取复制技术直接同步到ods层.

  兼职做了一段时间ETL,每次因业务需求新增减column 自动映射是个大难题。能做根据业务做成元数据库,来实现自动映射。是下阶段需要解决的问题.做好ETL前提是做好DBA。