摘要：
前段时间我做了一个SCA日志分析服务，该功能主要是从多台生产服务器上下载当天的日志数据，并且存在数据库中。日志数据主要用于支持维护组查询异常信息以及进行一些统计工作。开始方案是通过ORACLE+SpringJDBCTemplate来实现，代码实现后发现一个可怕的问题，日志解析入库耗费的时间非常大，查看了一下数据库数据解析1w条日志用时10min左右数据库就有将近20w条数据，但是一般一个日志文件一天就是3w-4w条数据，所以数据库中有应该有将近20w*4=80w条数据左右，这还是一台服务器的当天日志，如果是3台服务器那么一天将近240w条日志4天左右就有近1000w条数据，那么一个月将近上亿条 阅读全文
