Logstash——利用Kafka Group实现高可用
摘要：日志架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana输出到web端供相关人员查看，或者是由Spark接手进入更深层次的分析。 在以上整个架
阅读全文
posted @ 2020-04-13 15:41
随笔分类 - ELK
Filebeat——基本使用
摘要：前言 ........... 工作原理 Filebeat由两个主要组件组成， prospectors和harvesters，他们一起协作tail文件并将事件发送给声明的输出。 harvester的职责是以行为单位读取文件，发送给输出，每个文件由不同的harvester读取。 prospector的职
阅读全文
posted @ 2020-03-27 10:23
Kibana——安装部署
摘要：1.准备 JDK：1.8版本及以上； Kibana：6.2.4版本； 2.安装 2.1.下载解压 wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz mkdir /opt/elk/ki
阅读全文
posted @ 2019-11-09 16:43
ElasticSearch、Logstash管理和监控——blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]
摘要：1、某一天出现Kafka堆积大量未消费的记录： 2、该主题是用logstash进行消费的，然后查询logstash的日志（logstash/logs/logstash-plain.log），出现以下提示信息： 3、从上述日志可以看出，是输出到elasticsearch阻塞了，原因是相应的索引变成re
阅读全文
posted @ 2019-11-07 09:56
ElasticSearch——常用命令
摘要：集群相关 --查询集群健康状态 GET _cluster/health --查询所有节点 GET _cat/nodes --查询索引及分片的分布 GET _cat/shards--查询指定索引分片的分布GET _cat/shards/order_stpprdinf_2019-12?v --查询所有插
阅读全文
posted @ 2019-11-04 14:52
ElasticSearch——自定义模板
摘要：output中配置 elasticsearch{ action => "index" hosts => ["xxx"] index => "http-log-logstash" document_type => "logs" template => "opt/http-logstash.json"
阅读全文
posted @ 2019-11-04 12:24
ElasticSearch——Logstash输出到Elasticsearch配置
摘要：位置 在Logstash的.conf配置文件中的output中配置ElasticSearch 示例： output { elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-M
阅读全文
posted @ 2019-11-04 12:10
Elasticsearch常见错误与配置简介
摘要：一、常见错误 1.1 root用户启动elasticsearch报错 Elasticsearch为了安全考虑，不让使用root启动，解决方法新建一个用户，用此用户进行相关的操作。如果你用root启动，会出现“java.lang.RuntimeException: can not runelastic
阅读全文
posted @ 2019-06-24 18:00
ElasticSearch日志删除命令
摘要：先用：GET _cat/indices命令查出所有索引： 我的index格式形如： 通过curl发送DELETE命令给elasticsearch服务器，进行日志删除操作。命令示例如下： 1、 进服务器通过命令删除： 2、在kibana控制台删除： 3、也可以做成Linux中的定时任务，写个脚本，一天
阅读全文
posted @ 2019-06-05 10:53
Kibana 创建索引 POST 403 (forbidden) on create index
摘要：一、问题描述： Kibana创建索引：kibana > management > index patterns > create index pattern 索引名称: merchant-receipt-log-2019.06.04 点击创建按钮后，什么也没发生， 索引没有创建成功。 打开浏览器开发
阅读全文
posted @ 2019-06-04 10:38
ELK 日志平台构建
摘要：elastic中文社区 https://elasticsearch.cn/ 完整参考 ELK实时日志分析平台环境部署--完整记录 https://www.cnblogs.com/kevingrace/p/5919021.html 亿级 ELK 日志平台构建实践 https://blog.51cto.
阅读全文
posted @ 2019-05-31 15:21
