ES篇:(一)logstash初识
elasticsearch(官网)的发展历程省略。。总所周知,它是目前主流的,最受欢迎的搜索引擎之一,可用于数据搜集分析,文档检索等等方面。而logstash是Elastic 公司旗下的一款日志搜索收集产品。一步一个脚印,楼主正在摸索着es+logstash+kibana的关系及运用(后续会引入docker和集群)。为什么把logstash作为初识搜索方向的第一步呢?其实是基于这样考虑:logstash作为一款数据处理输出产品,用途广泛,不仅限于es方面。也可以和mysql,app,http,MongoDB等等结合运用,其集成了很多插件。
一、logstash(学习版本为6.7.0)的下载,安装非常简单,上手即用。
下载解压后,进入bin文件夹,cmd输入指令 : logstash-plugin list ,可以看到其集成的插件列表。
二、尝试运用一个demo,输出hello world!
-e 是 以命令行运行logstash, -f 以配置文件运行logstash,codes 为指定输出数据格式。
在bin目录下,cmd输入指令:logstash -e 'input {stdin {}} output {stdout {codec => "json"}}'
启动完毕之后,在控制台输入 hello world
三、尝试使用把控制台输入信息输出到app接口(http)
接收api:
在config目录创建一个logstash-http.conf文件,写一个最简单的配置,指定输入编码为GB2312(用utf8 encode时,也可在filter中加
urldecode {all_fields => true}),不然会乱码。url地址指向应用上面的log接口,省略filter。。
cmd指令:logstash -f ..\config\logstash-http.conf 启动成功后,在控制台输入hello ,笨猪!回车。在ide日志打印可以看到,logstash把数据处理后,输出到应用接口↓
四、其他,使用es作为存储数据空间或etc。。。:
五、总结
logstash是java开发,内存占用比较高(网上说的。。但胜在功能多啊)。
待续。。