随笔分类 - logstash

Logstash：收集、解析和转换日志 | Elastic、syslog

logstash使用

摘要：一、mutate 插件介绍 1. 描述 muatet 过滤器允许用户对字段进行改变，可以重命名、替换和修改事件中的字段。 2. 操作顺序 coerce rename update replace convert gsub uppercase capitalize lowercase strip sp 阅读全文

posted @ 2023-02-03 17:42 游走De提莫阅读(112) 评论(0) 推荐(0) 编辑

logstash-output转发到kafka

摘要：Kafka https://github.com/joekiller/logstash-kafka 插件已经正式合并进官方仓库，以下使用介绍基于logstash 1.4相关版本，1.5及以后版本的使用后续依照官方文档持续更新。插件本身内容非常简单，其主要依赖同一作者写的 jruby-kafka 模阅读全文

posted @ 2022-05-17 23:00 游走De提莫阅读(2127) 评论(0) 推荐(0) 编辑

filter过滤组件-Grok 正则捕获

摘要：Grok 正则捕获 Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。正则表达式语法运维工程师多多少少都会一点正则。你可以在 grok 里写标准的正则，像下面这样： \s+(?<request_time> 阅读全文

posted @ 2022-05-17 22:57 游走De提莫阅读(241) 评论(0) 推荐(0) 编辑

input输入插件

摘要：读取 Syslog 数据 syslog 可能是运维领域最流行的数据传输协议了。当你想从设备上收集系统日志的时候，syslog 应该会是你的第一选择。尤其是网络设备，比如思科 —— syslog 几乎是唯一可行的办法。我们这里不解释如何配置你的 syslog.conf, rsyslog.conf 或阅读全文

posted @ 2022-05-17 22:55 游走De提莫阅读(111) 评论(0) 推荐(0) 编辑

Logstash 最佳实践-配置语法

摘要：Logstash 社区通常习惯用 shipper，broker 和 indexer 来描述数据流中不同进程各自的角色。如下图：不过我见过很多运用场景里都没有用 logstash 作为 shipper，或者说没有用 elasticsearch 作为数据存储也就是说也没有 indexer。所以，我们其阅读全文

posted @ 2022-05-17 22:51 游走De提莫阅读(448) 评论(0) 推荐(0) 编辑