01 2021 档案
摘要:准备文件cars.csv 将csv文件导入elasticsearch logstash_cars.config 文件的内容如下: input { file { path => "/Users/liuxg/data/cars.csv" start_position => "beginning" sin
阅读全文
摘要:如果线程过多,在插入到logstash的时候会信息重复 input { tcp { port => 5000 codec => json { charset => "UTF-8" } } } ## Add your filters / logstash plugins configuration h
阅读全文
摘要:这篇文章介绍了使用 Logstash 在 Elasticsearch中 对数据进行重复数据删除的方法。 根据你的用例,Elasticsearch中 的重复内容可能不被接受。 例如,如果你要处理指标,则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用例
阅读全文
摘要:用于根据字典或查找文件过滤传入数据中的特定字段。 然后,如果输入字段与字典查找文件中的条目匹配,则它将执行操作,例如,将字段添加到数据或发送电子邮件。这个和我们之前介绍的数据丰富是一样的。 例子:/tmp/blacklisted_ip.yaml "216.46.173.126": "true" "1
阅读全文
摘要:描述 Dissect过滤器是一种拆分操作。与常规拆分操作(其中一个分隔符应用于整个字符串)不同,此操作将一组分隔符应用于字符串值。Dissect不使用正则表达式,速度非常快。 filter { dissect { mapping => { "message" => "%{ts} %{+ts} %{+
阅读全文
摘要:gsub 使用规则 filter { mutate { gsub => [ # replace all forward slashes with underscore # 用下划线替换所有的斜杠 "fieldname", "/", "_", # replace backslashes, questi
阅读全文
摘要:一个 logstash 实例中可以同时进行多个独立数据流程的处理工作,如下图所示。 而在这之前用户只能通过在单机运行多个 logstash 实例或者在配置文件中增加大量 if-else 条件判断语句来解决。要使用 multiple pipeline 也很简单,只需要将不同的 pipeline 在 c
阅读全文
摘要:使用Logstash从mysql同步用户和用户所有的宠物到ES中。 "register_name": "孟林洁", "id": 80469531, "pets": [ { "breed_name": "万能梗", "birthday": null, "pet_id": 999044, "name":
阅读全文
摘要:MySQL 设置 CREATE DATABASE es_db; USE es_db; DROP TABLE IF EXISTS es_table; CREATE TABLE es_table ( id BIGINT(20) UNSIGNED NOT NULL, PRIMARY KEY (id), U
阅读全文
摘要:shard分配策略 集群分片分配是指将索引的shard分配到其他节点的过程,会在如下情况下触发: 集群内有节点宕机,需要故障恢复; 增加副本; 索引的动态均衡,包括集群内部节点数量调整、删除索引副本、删除索引等情况; 上述策略开关,可以动态调整,由参数cluster.routing.allocati
阅读全文
摘要:把现有的5台节点全做hot节点,另外新增2台节点做warm节点。参考官方bloghot-warm-architecture-in-elasticsearch-5-x架构实现。需要注意的地方主要是:不要让已有的索引分片被ES自动Rebalance到warm节点上去了,并且新创建的索引,只应该分配在ho
阅读全文
摘要:如果你要处理时间序列数据,则不想将所有内容连续转储到单个索引中。 取而代之的是,您可以定期将数据滚动到新索引,以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低,您可能会将其转移到价格较低的硬件上,并减少分片和副本的数量。 要在索引的生命周期内自动移动索引,可以创建策略来定义随着索引的老
阅读全文
摘要:ES从6.7版本推出了索引生命周期管理(Index Lifecycle Management ,简称ILM)机制,能帮我们自动管理一个索引策略(Policy)下索引集群的生命周期。索引策略将一个索引的生命周期定义为四个阶段: Hot:索引可写入,也可查询。 Warm:索引不可写入,但可查询。 Col
阅读全文
摘要:hot node:用于支持索引并写入新文档、 warm node:用于处理不太频繁查询的只读索引 Hot node 我们可以使用 hot node 来做 indexing: indexing 是 CPU 和 IO 的密集操作,因此热节点应该是功能强大的服务器 比 warm node 更快的存储 Wa
阅读全文
摘要:rsync客户端和服务端下载链接 链接:https://pan.baidu.com/s/1kHQSVEODxbtXpxxMnT1S2A 提取码:9q4m 服务端安装指南 服务端配置 服务端目录结构如下: 修改服务端rsyncd.conf use chroot = false strict modes
阅读全文
摘要:上周末,更新易云盘的时候,发现阿里云服务器CPU很高,执行 top 一看,有个进程minerd尽然占用了90%多的CPU, 赶紧百度一下,查到几篇文章都有人遇到同样问题 Hu_Wen遇到的和我最相似,下边是他的解决办法 http://blog.csdn.net/hu_wen/article/deta
阅读全文
摘要:主要有如下两种管道聚合方式: parent sibling 下面一一介绍ES定义的管道聚合。 Avg Bucket 聚合 同级管道聚合,它计算同级聚合中指定度量的平均值。同级聚合必须是多桶聚合,针对的是度量聚合(metric Aggregation)。 示例如下: { "avg_bucket": {
阅读全文
摘要:方案选择: 方案一:可对logstash配置output参数: 如下所示: 这种方案在logstash中指定模板文件,由logstash将template写入ES集群; 方案二:直接将template写入ES集群 通过ES提供的API,将JSON格式的template写入目标ES集群的_templa
阅读全文
摘要:原因1:docker.socket 最初在启动docker时遇到问题,是因为docker.socket引起的,虽然记不清问题是表现为Unit not found还是执行systemctl start docker.service命令时hang住了,但是也一并记录在这里。 问题描述 我是从Docker
阅读全文