三颗纽扣

世界上最宽广的是海洋,比海洋更宽广的是天空,比天空更宽广的是人的胸怀

导航

使用InfoBright实现20-100亿条原始话单记录的检索

Oracle虽然很强大,但是遇到在20-100亿条原始话单记录中根据电话号码以及日期进行记录检索这样简单的查询需求时,依然由于数据量巨大而不得不退居二线了。当然在这个应用场景中,显然都不是Oracle等传统关系数据库的强项——数据量数十亿条以上,每天增量数TB,数据都是百万条为单位导入而不是一条条插入,不需要对数据进行任何的修改,数据完整性、事务性需求基本没有,而这些,恰恰是 InfoBright 这种列数据库的强项。

以前应用采用的ORACLE方案,在2亿条记录的情况下,即使数据分表再分区的情况下,要检索一个电话号码也需要十秒的查询时间,在验证了把前台迁移到InfoBright的可行性以后,看看具体在大数据量下 IB 的表现如何,结果让人很是意外和兴奋。

导入 27 亿条记录(相当于10天的话单):费时 2.5小时

执行通常的前端展现查询:select * from t where imsi=xxxxxxx and dt >xxxx and dt<xxxxx limit 30 offset 60; 费时 0.1-0.6 秒

执行全部记录提取:select count(*) from t where imsi=xxxxxxx and dt >xxxx and dt<xxxxx;统计出有 300万记录时,也不过 6-10秒

posted on 2012-10-19 12:26  三颗纽扣  阅读(364)  评论(0编辑  收藏  举报