logstash 使用
摘要：logstash主要是依靠强大的过滤插件，接下来研究和学习下过滤插件。 1. mutate插件 mutate插件几乎是使用最频繁的一个过滤插件，可以对字段进行各种操作，比如重命名、删除、替换、更新等。主要常用操作如下: convert #类型转换gsub #字符串替换split/join/merge
阅读全文
posted @
2022-08-30 11:22
永远的大空翼
阅读(197)
推荐(0) 编辑
Elasticsearch
摘要：前言 Elasticsearch是借助于lucene API基础上构建的分布式几乎实时的查询组件。只支持文本搜索。需要知道的是，lucene中的索引相当于数据库中的表。 Elasticsearch是一个基于Lucene实现的开源，分布式，Restful的全文本搜索引擎；此外，它还是一个分布式实时文档
阅读全文
posted @
2022-04-28 10:45
永远的大空翼
阅读(95)
推荐(0) 编辑
Logstash 常用插件
摘要：1.input插件 1）file 插件 2) redis 插件 从redis读取数据 ............................ 2.filter插件 用于在将event通过output发出之前对其实现某些处理功能。 1）grok插件 用于分析并且结构化文本数据（比如：把日志中的每一个
阅读全文
posted @
2022-03-23 09:29
永远的大空翼
阅读(493)
推荐(0) 编辑
单机Kafka集群操作
摘要：1.kafka集群有关topic操作 1) 查看有多少条topic [root@XX bin]# pwd/opt/app/kafka/9092/kafka_2.11-1.0.0/bin [root@XX bin]# ./kafka-topics.sh --list --zookeeper local
阅读全文
posted @
2022-03-22 09:37
永远的大空翼
阅读(42)
推荐(0) 编辑
单机部署和配置Kafka集群
摘要：安装zookeeper 3.4.11单机集群 1.说明 需要说明的几个问题：1）kafka依赖zookeeper,请先安装zookeeper。2）zookeeper依赖java环境，请先安装jdk。3）zookeeper单机集群规划：3个节点，端口号分别是2181、2812、2813。4）zooke
阅读全文
posted @
2022-03-14 09:52
永远的大空翼
阅读(1144)
推荐(0) 编辑
docker install Elasticsearch
摘要：docker install method:https://docs.docker.com/engine/install/centos/ elasticsearch 参考文章：https://www.cnblogs.com/szwdun/p/10652515.html 具体docker以及单节点el
阅读全文
posted @
2022-02-21 16:21
永远的大空翼
阅读(82)
推荐(0) 编辑
ELK04-logstash 专项search
摘要：logstash有关的常用插件 1. filter插件 filter：用于将event通过output发出之前对其实现某些处理功能。下面介绍的就是filter插件的常用重点插件。 grok插件 grok默认预定义模式 grok:用于分析并结构化文本数据（日志）。目前是logstash中将非结构化数据
阅读全文
posted @
2022-02-21 09:29
永远的大空翼
阅读(32)
推荐(0) 编辑
ELK03-使用kafka作为缓存收集日志
摘要：1.Kafka简介 Kafka 被称为下一代分布式消息系统，是非营利性组织ASF(Apache Software Foundation，简称为ASF)基金会中的一个开源项目，比如HTTP Server、Hadoop、ActiveMQ、Tomcat等开源软件都属于Apache基金会的开源软件，类似的消
阅读全文
posted @
2022-02-08 15:28
永远的大空翼
阅读(216)
推荐(0) 编辑
ELK02-ELK收集Linux系统平台应用系统日志
摘要：1.ELK收集日志介绍 展示日志： kibana。即它本身没有数据,kibana从ES里收集数据进行展示。 收集日志：filebeat。想在哪一台收集日志，就在哪一台安装filebeat。它（filebeat）就是一个客户端！你需要在哪一台收集日志就在哪一台安装filebeat，和zabbix ag
阅读全文
posted @
2022-01-17 09:10
永远的大空翼
阅读(1014)
推荐(0) 编辑
ELK01-Elasticsearch
摘要：1.Elastic search（ES）介绍 到底什么是Elasticsearch呢？官方网站给的解释如下： What is Elasticsearch? You know, for search (and analysis) Elasticsearch is the distributed sea
阅读全文
posted @
2022-01-11 08:53
永远的大空翼
阅读(135)
推荐(0) 编辑
日志管理工具之logrotate
摘要：Logrotate配置和测试 logrotate软件是一个日志管理工具，用于非分隔日志，删除旧的日志文件，并创建新的日志文件，起到“转储作用”，可以为系统节省磁盘空间。logrotate是基于crontab运行的，其脚本是/etc/cron.daily/logtotate，日志轮转是系统自发完成的，
阅读全文
posted @
2018-09-17 16:32
永远的大空翼
阅读(251)
推荐(0) 编辑
