摘要：
一、背景介绍 近一年内对公司的 ELK 日志系统做过性能优化，也对 SkyWalking 使用的 ES 存储进行过性能优化，在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。 ELK 架构作为日志存储方案 二、现状分析 1、版本及硬件配置 JDK：JDK1.8_17 阅读全文
摘要：
准备文件cars.csv 将csv文件导入elasticsearch logstash_cars.config 文件的内容如下： input { file { path => "/Users/liuxg/data/cars.csv" start_position => "beginning" sin 阅读全文
摘要：
如果线程过多，在插入到logstash的时候会信息重复 input { tcp { port => 5000 codec => json { charset => "UTF-8" } } } ## Add your filters / logstash plugins configuration h 阅读全文
摘要：
这篇文章介绍了使用 Logstash 在 Elasticsearch中 对数据进行重复数据删除的方法。 根据你的用例，Elasticsearch中 的重复内容可能不被接受。 例如，如果你要处理指标，则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用例 阅读全文
摘要：
用于根据字典或查找文件过滤传入数据中的特定字段。 然后，如果输入字段与字典查找文件中的条目匹配，则它将执行操作，例如，将字段添加到数据或发送电子邮件。这个和我们之前介绍的数据丰富是一样的。 例子：/tmp/blacklisted_ip.yaml "216.46.173.126": "true" "1 阅读全文
摘要：
描述 Dissect过滤器是一种拆分操作。与常规拆分操作(其中一个分隔符应用于整个字符串)不同，此操作将一组分隔符应用于字符串值。Dissect不使用正则表达式，速度非常快。 filter { dissect { mapping => { "message" => "%{ts} %{+ts} %{+ 阅读全文
摘要：
gsub 使用规则 filter { mutate { gsub => [ # replace all forward slashes with underscore # 用下划线替换所有的斜杠 "fieldname", "/", "_", # replace backslashes, questi 阅读全文
摘要：
一个 logstash 实例中可以同时进行多个独立数据流程的处理工作，如下图所示。 而在这之前用户只能通过在单机运行多个 logstash 实例或者在配置文件中增加大量 if-else 条件判断语句来解决。要使用 multiple pipeline 也很简单，只需要将不同的 pipeline 在 c 阅读全文
摘要：
使用Logstash从mysql同步用户和用户所有的宠物到ES中。 "register_name": "孟林洁", "id": 80469531, "pets": [ { "breed_name": "万能梗", "birthday": null, "pet_id": 999044, "name": 阅读全文
摘要：
MySQL 设置 CREATE DATABASE es_db; USE es_db; DROP TABLE IF EXISTS es_table; CREATE TABLE es_table ( id BIGINT(20) UNSIGNED NOT NULL, PRIMARY KEY (id), U 阅读全文