摘要: gem source --remove https://rubygems.org/gem source -a https://gems.ruby-china.com/gem source -lgem source -u 阅读全文
posted @ 2020-06-04 14:22 fat_girl_spring 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 安装插件 cd $LOGSTASH_HOME./bin/logstash-plugin install logstash-filter-multiline 合并多行数据(Multiline) input { stdin { codec =>multiline { charset=>... #可选 字 阅读全文
posted @ 2020-06-04 13:53 fat_girl_spring 阅读(399) 评论(0) 推荐(0) 编辑
摘要: 读取文件 Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。 sincedb 文件中记 阅读全文
posted @ 2020-05-27 16:16 fat_girl_spring 阅读(3033) 评论(0) 推荐(0) 编辑
摘要: filebeat配置 #表示的是会把 service作为fields的二级字段filebeat.inputs: - type: log enabled: true paths: - /var/log/aa.log fields: service: aa - type: log enabled: tr 阅读全文
posted @ 2020-05-21 16:26 fat_girl_spring 阅读(2186) 评论(0) 推荐(0) 编辑
摘要: Elastic安装机制 在很多的情况下,出于安全的原因,我们需要对不同的Kibana用户分配不同的用户权限,这样使得他们之间不能互相访问彼此的资源,同时他们也应该对不同的索引拥有不同的权限,比如读,写,管理等等。Elastic Security通过基于角色的功能提供授权存取控制(RBAC-Role 阅读全文
posted @ 2020-05-15 16:14 fat_girl_spring 阅读(373) 评论(0) 推荐(0) 编辑
摘要: SQL 实操 检索Elasticsearch schema 信息:DSL vs SQL 首先,我们确定表/索引的schema以及可供我们使用的字段。 我们将通过REST界面执行此操作: POST /_sql { "query":"desc sports" } 上面的命令结果: { "columns" 阅读全文
posted @ 2020-05-15 15:21 fat_girl_spring 阅读(733) 评论(0) 推荐(0) 编辑
摘要: 当导入数据到Elasticsearch中时,用其他信息丰富文档通常是有益的,这些信息以后可用于搜索或查看数据。丰富化是将权威来源的数据合并到文档中的过程,这些数据被摄入到Elasticsearch中。例如,可以使用GeoIP处理器来进行扩充,该处理器可以处理包含IP地址的文档,并添加有关与每个IP地 阅读全文
posted @ 2020-05-14 16:21 fat_girl_spring 阅读(771) 评论(0) 推荐(0) 编辑
摘要: 在Elasticsearch 5.0之前,如果我们想在将文档索引到Elasticsearch之前预处理文档,那么唯一的方法是使用Logstash或以编程方式/手动预处理它们,然后将它们索引到Elasticsearch。 Elasticsearch缺乏预处理/转换文档的能力,它只是按原样索引文档。 但 阅读全文
posted @ 2020-05-13 17:30 fat_girl_spring 阅读(1194) 评论(0) 推荐(0) 编辑
摘要: 情况说明:三台es集群,一台kibana es版本要求白金版,基础版不行,可以试用30天白金版 1、三台es都需要配置,修改elasticsearch.yml配置文件 说明,使用QQ邮箱,163邮箱的话,需要注意,在配置发件箱中使用的密码不是登陆这个邮箱使用的密码,而是使用这个邮箱的邮箱授权码 xp 阅读全文
posted @ 2020-05-13 12:13 fat_girl_spring 阅读(2231) 评论(0) 推荐(0) 编辑
摘要: 默认情况下,Filebeat将其所有输出发送到syslog。 在前台运行Filebeat时,可以使用-e命令行标志将输出重定向到标准错误。 例如: filebeat -e 默认配置文件是filebeat.yml(文件的位置因平台而异)。 您可以通过指定-c标志来使用其他配置文件。 例如: fileb 阅读全文
posted @ 2020-05-11 17:21 fat_girl_spring 阅读(1421) 评论(0) 推荐(0) 编辑