随笔分类 - ELK
摘要：写入数据库的目的是持久化保存重要数据,比如状态码、客户端浏览器版本等,用于后期按月做数据统计等. 环境准备 linux-elk1:10.0.0.22,Kibana ES Logstash Nginx linux-elk2:10.0.0.33,MySQL5.7 1.linux-elk2上配置数据库 安
阅读全文
摘要：在使用ELK进行日志统计的时候,由于Kibana自身并没有身份验证的功能,任何人只要知道链接地址就可以正常登录到Kibana控制界面,由于日常的查询,添加和删除日志都是在同一个web中进行,这样就有极高的安全隐患.任何人都有权限对其进行修改,为了避免这一问题,可以使用Nginx的验证功能来代理Kib
阅读全文
摘要：1.IP规划 10.0.0.33:filebeat+tomcat,filebeat收集系统日志、tomcat日志发送到logstash 10.0.0.32:logstash,将日志写入reids(input、output) 10.0.0.31:redis,大量缓存数据 10.0.0.30:logst
阅读全文
摘要：1.ELK最佳实践解析 a.用户通过nginx或haproxy访问ELK日志统计平台,IP地址为keepalived的vip地址; b.nginx将请求转发到kibana; c.kibana到es获取数据,es是两台做的集群,数据保存在任意一台es服务器; d.左边的logstash从redis中取
阅读全文
摘要：filebeat->redis->logstash->elasticsearch 官网下载地址:https://www.elastic.co/downloads/beats/filebeat Filebeat是轻量级单用途的日志收集工具,用于在没有安装java的服务器上专门收集日志,可以将日志转发到
阅读全文
摘要：logstash->redis->logstash->elasticsearch 1.安装部署redis 登录redis需要认证 配置logstash的systemlog_to_redis.conf 登陆redis查看 2.配置logstash从reids中取出数据到elasticsearch lo
阅读全文
摘要：由于HAProxy的运行信息不写入日志文件,但它依赖于标准的系统日志协议将日志发送到远程服务器(通常位于同一系统上),所以需要借助rsyslog来收集haproxy的日志.haproxy代理nginx的访问,使用logstash收集nginx的访问信息. 1.安装配置haproxy 2.准备hapr
阅读全文
摘要：ElasticSearch是一个搜索引擎,用来搜索、分析、存储日志; Logstash用来采集日志,把日志解析为json格式交给ElasticSearch; Kibana是一个数据可视化组件,把处理后的结果通过web界面展示; Beats在这里是一个轻量级日志采集器,早期的ELK架构中使用Logst
阅读全文
摘要：1.安装及配置Kibana 2.通过配置logstash文件收集message日志 在Kibana上展示上一节收集的日志信息,添加索引 使用logstash配置文件收集messages日志 在管理界面查看是否有相应的索引 添加到Kibana中展示,创建索引 3.使用一个配置文件收集多个日志(这个配置
阅读全文
摘要：1.安装Nginx 2.配置logstash 在elasticsearch-head页面查看日志时,点击A-index,再点击B-index时,会把A-index的所有内容与B-index相合并,再点一下A-index,就只剩B-index的内容了. 3.安装tomcat 权限改成644都不行 Ng
阅读全文
摘要：1.Java日志收集 使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并. 命令行测试输入输出 logstash -e 'input { stdin {codec => multiline { p
阅读全文