随笔分类 -  ELK

摘要:gateway,elasticsearch底层的一个module,这个module,你也可以认为是什么呢?认为是es代码中的一个模块 gateway这个模块是负责干什么的,module,java,j2ee,java web,用户管理模块,订单管理模块。。。用户管理模块,就是类似一个module,是用 阅读全文
posted @ 2022-06-20 15:57 fengjian1585 阅读(180) 评论(0) 推荐(0) 编辑
摘要:一、简 介Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监 阅读全文
posted @ 2020-07-21 17:06 fengjian1585 阅读(6172) 评论(0) 推荐(0) 编辑
摘要:filebeat用于是日志收集,感觉和 flume相同,但是用go开发,性能比较好 在2.4版本中, 客户机部署logstash收集匹配日志,传输到 kafka,在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中,使用filebeat 收集日志,减少 阅读全文
posted @ 2017-07-26 15:25 fengjian1585 阅读(799) 评论(0) 推荐(0) 编辑
摘要:beat kafka logstash elasticsearch kibana beat配置文件 logstash配置文件 在es1上操作: 下载elasticsearch5.5安装: wget https://artifacts.elastic.co/downloads/elasticsearc 阅读全文
posted @ 2017-07-21 11:24 fengjian1585 阅读(563) 评论(0) 推荐(0) 编辑
摘要:2017-05-15 12:06:17 INFO me.cinyi.imapp.push.commons.iospush - 用户ID[1000]-标识[11500], admin推送通知成功, messages:[6921]ms 阅读全文
posted @ 2017-05-18 17:13 fengjian1585 阅读(1050) 评论(0) 推荐(0) 编辑
摘要:cat /data/tomcat/conf/server.xml <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefix="localhost_access_log" suffix=". 阅读全文
posted @ 2016-10-21 18:09 fengjian1585 阅读(1283) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2016-10-10 10:49 fengjian1585 阅读(1521) 评论(0) 推荐(1) 编辑
摘要:统计IP前五的数据 统计相应时间 状态码统计 统计IP地图 阅读全文
posted @ 2016-10-07 00:04 fengjian1585 阅读(2470) 评论(0) 推荐(0) 编辑
摘要:codec 插件 goeip插件 input { file { path => ["/data/nginx/logs/access.log"] type =>"type" start_position => "end" codec => json } } filter { geoip { sourc 阅读全文
posted @ 2016-10-06 23:12 fengjian1585 阅读(217) 评论(0) 推荐(0) 编辑
摘要:logstash 客户端收集 haproxy tcp日志 input { file { path => "/data/haproxy/logs/haproxy_http.log" start_position => "beginning" type => "haproxy_http" } file 阅读全文
posted @ 2016-09-29 14:05 fengjian1585 阅读(1430) 评论(0) 推荐(0) 编辑
摘要:log_format logstash_json '{ "@timestamp": "$time_local", ' '"@fields": { ' '"remote_addr": "$remote_addr", ' '"remote_user": "$remote_user", ' '"body_ 阅读全文
posted @ 2016-09-25 10:49 fengjian1585 阅读(1897) 评论(0) 推荐(0) 编辑
摘要:使用curl命令操作elasticsearch 大岩不灿 发表于 2015年4月25日 浏览 7,426 次 第一:_cat系列_cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行curl -XGET localhost:9200/_cat获取所有_cat系列的操作= 阅读全文
posted @ 2016-09-13 17:49 fengjian1585 阅读(1422) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch 配置 Elasticsearch不仅仅是Lucene和全文搜索,我们还能这样去描述它: 分布式的实时文件存储,每个字段都被索引并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器,处理PB级结构化或非结构化数据 Elastic Search git clone h 阅读全文
posted @ 2016-09-13 14:01 fengjian1585 阅读(2628) 评论(0) 推荐(0) 编辑
摘要:http://kibana.logstash.es/content/logstash/examples/nginx-access.html http://es.xiaoleilu.com/030_Data/10_Index.html 阅读全文
posted @ 2016-09-09 21:23 fengjian1585 阅读(967) 评论(0) 推荐(0) 编辑
摘要:ELK+kafka构建日志收集系统 原文 http://lx.wxqrcode.com/index.php/post/101.html 原文 http://lx.wxqrcode.com/index.php/post/101.html 背景: 最近线上上了ELK,但是只用了一台Redis在中间作为消 阅读全文
posted @ 2016-09-05 11:08 fengjian1585 阅读(15793) 评论(0) 推荐(2) 编辑