日志收集及网络包收集方案

日志收集机制：

logfile》filebeat》kafka》logstash》elasticsearch》kibana

filebeat部署在每台机器上负责抓取日志文件的数据（logstash也可以抓取数据，但是太重。用清量的filebeat方便部署在每台机器上。）

kafaka作为队列缓存，以防过大日志量打入logstash

logstash只负责数据过滤功能

日志数据最终存储在有强大搜索功能的es中。

kibana在web端作展现。

 

网络抓包工具。使用packbeat可以抓取tcpip协议的网络包。最终存储到es中。

目前packbeat本身支持mysql、redis、mc、http等协议的解析。