摘要:
前一段时间接了个业务比较特殊,它的场景是这样的:–每天入库数据量3亿左右–写多读少,每隔5分钟写入10w数据–按天分表,多年同一天的数据在一个表里–同一天的数据每隔5分钟更新一次–数据来源,经过Hadoop分析过后的csv文件--类似于这样的,会有并发同时跑,但是数据量和间隔时间不一样数据库配置:普通sas盘,24G内存,16核CPU,单实例,1主1备优化前的做法是:1. 把原来的前几分钟的数据根据日期delete掉2. 使用程序读取分析过的csv文件,拼装成insert into tbname (col1,col2,......) values (val1,val2,....,),(val. 阅读全文