从上亿数据中抽取千万数据只需10分钟内
摘要：
随着业务,数据量的不断提升和业务对报表实时程度的不断提高,老一套的ETL即将被淘汰.老板的一句一小时看到数据,意味着生命不止折腾不息。现在的etl 通过多台etl机器来实现负载均衡.ods 层的结构和线上库结构一致.ods层采用raid 多快独立的disk,多个HAB。对于读取速度特别慢的表采用复制对象+分区表技术来实现几百万数据几分钟装载.详细见http://www.cnblogs.com/xw... 阅读全文
posted @ 2010-08-24 14:04 徐郞顾 阅读(1667) 评论(6) 推荐(1) 编辑
