大数据-日志收集及分析

如何收集系统日志并进行分析的？

实时模式：

1 在打印日志的服务器上部署agent
2 agent使用低耗方式将日志增量上传到计算集群
3 计算集群解析日志并计算出结果，尽量分布式、负载均衡，有必要的话（比如需要关联汇聚）则采用多层架构
4 计算结果写入最适合的存储（比如按时间周期分析的结果比较适合写入Time Series模式的存储）
5 搭建一套针对存储结构的查询系统、报表系统
补充：常用的计算技术是storm

准实时模式
1 在打印日志的服务器上部署agent
2 agent使用低耗方式将日志增量上传到缓冲集群
3 缓冲集群将原始日志文件写入hdfs类型的存储
4 用hadoop任务驱动的解析日志和计算
5 计算结果写入hbase
6 用hadoop系列衍生的建模和查询工具来产出报表
补充：可以用hive来帮助简化

作者：xiaoy
链接：https://www.zhihu.com/question/21427267/answer/22873640
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。