随笔分类 - Logstash
摘要:一、Logstash对接kafka测通 说明: 由于我这里kafka是伪分布式,且kafka在伪分布式下,已经集成了zookeeper。 1、先将zk启动,如果是在伪分布式下,kafka已经集成了zk 2、启动broker 3、创建topic 4、创建消费者 5、配置Logstash对接kafka的
阅读全文
摘要:一、使用Logstash将mysql数据导入elasticsearch 1、在mysql中准备数据: 2、简单实例配置文件准备: 3、实例结果: 4、更多选项配置如下(单表同步): 5、多表同步: 多表配置和单表配置的区别在于input模块的jdbc模块有几个type,output模块就需对应有几个
阅读全文
摘要:#输入 input { file { path => ["文件路径"] #自定义类型 type => "自定义" start_position => "beginning" } } #过滤器 filter{ #去除换行符 mutate{ gsub => [ "message", "\r", "" ] } #逗号分割 mutate { ...
阅读全文
摘要:一、Logstash简介 Logstash 是一个实时数据收集引擎,可收集各类型数据并对其进行分析,过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。它可以实现多样化的数据源数据全量或增量传输,数据标准格式处理,数据格式化输出等的功能,常用于日志处理。工作流程分为三个阶段: (1)inpu
阅读全文
摘要:一、数据从文件导入elasticsearch 1、数据准备: 2、_bulk API导入ES的JSON文件需要满足一定的格式,每条记录之前,需要有文档ID且每一行\n结束 如果是在test.json文件中没有指定index名、type、id时: 但是id会自动生成 3、对于普通json文件的导入,可
阅读全文