文章分类 - 自动化运维_elk
摘要：一、生成证书 集群结构： hostnameIP es1 192.168.1.5 es2 192.168.1.6 es3 192.168.1.7 kibana 192.168.1.8 logstash 192.168.1.15 1、创建ca证书 [elk@es1 elasticsearch]$ bin
阅读全文
摘要：简介 Elastalert是用python2写的一个报警框架(目前支持python2.6和2.7，不支持3.x)，github地址为 https://github.com/Yelp/elastalert。他提供不同场景的规则配置，若觉得规则、告警不满足需求时，可以用python编写插件Adding
阅读全文
摘要：1.前言 对于互联网公司来说，nginx的请求日志简直就是一座金矿，如果不能充分利用，简直太可惜了。初期一般都是输出到日志文件，要查什么就awk\grep\uniq\sort...，能满足不少统计需求，但最大的缺点是不直观，不方便监控（目前虽然用了ELK，但是有些信息我还是用shell统计，两者互补
阅读全文
摘要：ELK日志报警插件ElastAlert 它通过将Elasticsearch与两种类型的组件（规则类型和警报）结合使用。定期查询Elasticsearch，并将数据传递到规则类型，该规则类型确定何时找到匹配项。发生匹配时，将为该警报提供一个或多个警报，这些警报将根据匹配采取行动。 这是由一组规则配置的
阅读全文
摘要：源json数据： { "vaid": 4, "layer_type": 0, "clid": 4, "chid": "1073266302", "sid_type": 2, "create_time": 1512724518.1473277, "pid": 1777607729, "content_
阅读全文
摘要：利用filebeat收集数据,通过编写配置文件，将产生的日志文件，发送给logstash,logstash再将数据发送给elasticsearch, 最后数据的展示交给kibana 修改 /etc/sysctl.conf echo "vm.max_map_count=262144" > /etc/s
阅读全文
摘要：1.ELK是什么？ ELK 其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写 Elasticsearch：负责日志检索和储存 Logstash：负责日志的收集和分析、处理 Kibana：负责日志的可视化 这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co
阅读全文
摘要：9.ElkStack上线规划 上线ELKstack前，先做好如下规范能更好的开启ELKstack之旅。 1.标准化: 1.路径规划: /data/logs/,/data/logs/access,/data/logs/error,/data/logs/run 2.格式要求: 严格要求使用json 3.
阅读全文
摘要：7.案例logstash写入elasticsearch 数据直接写入elasticsearch中(适合日志数量不大，没有Redis) [root@linux-node3 conf.d]# cat input_file_output_es.conf input { #system syslog { t
阅读全文
摘要：6.5消息队列解耦综合实践 1.将所有需要收集的日志写入一个配置文件,发送至node4的Redis服务(以下配置文件在各个节点上)。 [root@linux-node3 ~]# cat /etc/logstash/conf.d/input_file_output_redis.conf input {
阅读全文
摘要：6.4Logstach收集nginx日志 1.安装Nginx yum install nginx 2.nginx改成json格式输出日志 #http段加如下信息(日志位置根据业务自行调整) log_format json '{ "@timestamp": "$time_local", ' '"@fi
阅读全文
摘要：6.2Logstach收集tcp日志 1.编写收集tcp网络日志 [root@linux-node3 conf.d]# cat tcp.conf input { tcp { type => "tcp_port_6666" host => "192.168.90.203" port => "6666"
阅读全文
摘要：6.1Logstach收集rsyslog日志 1.修改rsyslog.conf配置文件 [root@linux-node3 elasticsearch]#vim /etc/rsyslog.conf *.* @@192.168.90.203:514 [root@linux-node3 elastics
阅读全文
摘要：5.Logstash日志收集实践 在学习Logstash之前，我们需要先了解以下几个基本概念: logstash收集日志基本流程: input-->codec-->filter-->codec-->output 1.input:从哪里收集日志。 2.filter:发出去前进行过滤 3.output:
阅读全文
摘要：8.Kibana实践 Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。 8.1安装Kibana 1.安装java
阅读全文
摘要：1.没有日志分析系统 1.1运维痛点 1.运维要不停的查看各种日志。 2.故障已经发生了才看日志(时间问题。) 3.节点多，日志分散，收集日志成了问题。 4.运行日志，错误等日志等，没有规范目录，收集困难。 1.2环境痛点 1.开发人员不能登陆线上服务器查看详细日志。 2.各个系统都有日志，日志数据
阅读全文
