高性能日志处理的研究记录

我们的系统许多时候需要接收并解析日志，并存储到数据库中，有些时候客户环境中的日志量是非常大的，可以达到1w/s以上，种类也是非常多的，轻松也有上百种，为此需要一套高性能高可靠，并可灵活更新规则库的软件系统。

 

目前的架构基本上是这样的   rsyslog-heka-kafka-log_parser-es, 出于某些目的，有可能还会出现 rsyslog-heka-kafka-log_parser-kafka-msg_processor-es

 

主要的功能集中于 log_parser，kafka来的消息往往是json形式的string(有点浪费)，最后回传给kafka的也是json形式的string

 

标准过程

1. kafka consume

2. string to json

3. process json.log.raw, get new json object

4. json to string,

5. produce to kafka

 

研究了挺久，每一步都可以折腾