05 2022 档案

logstash-output转发到kafka

摘要：Kafka https://github.com/joekiller/logstash-kafka 插件已经正式合并进官方仓库，以下使用介绍基于logstash 1.4相关版本，1.5及以后版本的使用后续依照官方文档持续更新。插件本身内容非常简单，其主要依赖同一作者写的 jruby-kafka 模阅读全文

posted @ 2022-05-17 23:00 游走De提莫阅读(2127) 评论(0) 推荐(0) 编辑

filter过滤组件-Grok 正则捕获

摘要：Grok 正则捕获 Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。正则表达式语法运维工程师多多少少都会一点正则。你可以在 grok 里写标准的正则，像下面这样： \s+(?<request_time> 阅读全文

posted @ 2022-05-17 22:57 游走De提莫阅读(241) 评论(0) 推荐(0) 编辑

input输入插件

摘要：读取 Syslog 数据 syslog 可能是运维领域最流行的数据传输协议了。当你想从设备上收集系统日志的时候，syslog 应该会是你的第一选择。尤其是网络设备，比如思科 —— syslog 几乎是唯一可行的办法。我们这里不解释如何配置你的 syslog.conf, rsyslog.conf 或阅读全文

posted @ 2022-05-17 22:55 游走De提莫阅读(111) 评论(0) 推荐(0) 编辑

Logstash 最佳实践-配置语法

摘要：Logstash 社区通常习惯用 shipper，broker 和 indexer 来描述数据流中不同进程各自的角色。如下图：不过我见过很多运用场景里都没有用 logstash 作为 shipper，或者说没有用 elasticsearch 作为数据存储也就是说也没有 indexer。所以，我们其阅读全文

posted @ 2022-05-17 22:51 游走De提莫阅读(448) 评论(0) 推荐(0) 编辑

电影票房数据分析 (一) 数据采集

摘要：阅读目录 1、获取 url 2、开始采集 3、存入 mysql 本文是爬虫及可视化的练习项目，目标是爬取猫眼票房的全部数据并做可视化分析。目录 1、获取 url 2、开始采集 3、存入 mysql 回到顶部 1、获取 url 我们先打开猫眼票房 http://piaofang.maoyan.com 阅读全文

posted @ 2022-05-17 00:55 游走De提莫阅读(769) 评论(0) 推荐(0) 编辑