摘要: 一、Logstash对接kafka测通 说明: 由于我这里kafka是伪分布式,且kafka在伪分布式下,已经集成了zookeeper。 1、先将zk启动,如果是在伪分布式下,kafka已经集成了zk 2、启动broker 3、创建topic 4、创建消费者 5、配置Logstash对接kafka的 阅读全文
posted @ 2019-04-25 16:46 xiaolaotou 阅读(1793) 评论(0) 推荐(0) 编辑
摘要: 一、使用Logstash将mysql数据导入elasticsearch 1、在mysql中准备数据: 2、简单实例配置文件准备: 3、实例结果: 4、更多选项配置如下(单表同步): 5、多表同步: 多表配置和单表配置的区别在于input模块的jdbc模块有几个type,output模块就需对应有几个 阅读全文
posted @ 2019-04-25 11:52 xiaolaotou 阅读(2578) 评论(0) 推荐(0) 编辑
摘要: #输入 input { file { path => ["文件路径"] #自定义类型 type => "自定义" start_position => "beginning" } } #过滤器 filter{ #去除换行符 mutate{ gsub => [ "message", "\r", "" ] } #逗号分割 mutate { ... 阅读全文
posted @ 2019-04-25 11:47 xiaolaotou 阅读(4426) 评论(0) 推荐(0) 编辑