关于《rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>》的反思

关于《rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>》的反思--链接--http://www.cnblogs.com/drgcaosheng/p/5832697.html

 

之前使用这个搭建了一个日志服务器，但是在mysql中，日志增加太快，过了些天，已经有几千万的数据了，而且loganalyzer生成的表并不够好<个人感觉>，没有相关的索引，最终在查询的时候败下阵来，在此期间，有尝试将该日志的表添加索引<小弟对mysql也不熟悉，不熟悉mysql的优化索引，胡乱根据网上的教程，添加了一些索引>如下图.

 

这还是比较勤快的删除了数据，具体的如下数量，并且这数据量才刚刚进行上线：

 

这实在是一个头痛的问题，思索再写，决定自己利用python+<xshell的grep>直接查询日志文件，利用django+apache实现前端显示，自己来实现一个算了。大概思路如下。

先看下rsyslog日志的目录结构及rsyslog模板的配置：

$template DynamicFile,"/var/log/ttlogs/%$YEAR%/%$MONTH%/%$DAY%/%fromhost-ip%-test.log"
*.* ?DynamicFile

 

然后相关的思路图如下：

 

在此仅表述个人的观点，如果不好，请大家指出。跪听。

后面按这个搭建起来了，目前运行到现在有一段时间了，没有什么问题，查询的速度还是嗷嗷的。 下面是相关的链接：《2017-07-06号记录修改》

django+nginx+xshell简易日志查询,接上<关于《rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>》的反思>