随笔分类 - 日志分析
摘要：线上部署了ELK+Redis日志分析平台环境, 随着各类日志数据源源不断的收集, 发现过了一段时间之后, ELK查看会原来越慢, 重启elasticsearch服务器节点之前同步时间也会很长, 这是因为长期以来ELK收集的索引没有删除引起的! 以下是ELK批量删除索引的操作记录: 1) 访问head
阅读全文
摘要：之前的文档介绍了ELK架构的基础知识，日志集中分析系统的实施方案：- ELK+Redis- ELK+Filebeat - ELK+Filebeat+Redis- ELK+Filebeat+Kafka+ZooKeeper ELK进一步优化架构为EFK，其中F就表示Filebeat。Filebeat即是
阅读全文
摘要：即对日志文件中的error进行监控，当日志文件中出现error关键字时，即可报警！（grep -i error 不区分大小写进行搜索"error"关键字，但是会将包含error大小写字符的单词搜索出来） 1）第一类日志在每天的日志目录下生产的error日志，此日志文件每天都会自动生成，里面有没有er
阅读全文
摘要：syslog是Linux系统默认的日志守护进程，默认的syslog配置文件是/etc/syslog.conf文件。syslog守护进程是可配置的，它允许人们为每一种类型的系统信息精确地指定一个存放地点。比较 syslog ，syslog-ng 具有众多高级的功能：更好的网络支持，更加方便的配置，集中
阅读全文
摘要：对于Linux系统安全来说，日志文件是极其重要的工具。不知为何，我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！logrotate
阅读全文
摘要：在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~ 概念介绍 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、
阅读全文
摘要：rsyslog 可以理解为多线程增强版的syslog。 在syslog的基础上扩展了很多其他功能，如数据库支持（MySQL、PostgreSQL、Oracle等）、日志内容筛选、定义日志格式模板等。目前大多数Linux发行版默认也是使用rsyslog进行日志记录。rsyslog提供了三种远程传输协议
阅读全文
摘要：一、ELK日志分析工具介绍1) Elasticsearch1.1) Elasticsearch介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache
阅读全文