随笔分类 -  elk

摘要:1、实战问题 如下都是实战环节遇到的问题: logstash谁解决过时区问题,mysql是东八区shanghai 但是这玩意读完存到es就少了8小时? 目前索引会比真正时间晚8小时,导致8点前的日志写到昨天索引里,大佬们有招吗? 问一下 logstash输出日志到本地文件中,按照小时生成索引,但是他 阅读全文
posted @ 2021-08-10 11:30 fat_girl_spring 阅读(2839) 评论(0) 推荐(0) 编辑
摘要:最近部署filebeat采集日志。 发现配置multiline后,日志偶尔会丢失数据,而且采集到的数据长度都不相同,所以和日志长度没有关系。 查阅filebeat官网后,找到了问题。filebeat有个配置max_lines,默认值为500。查看了我们的日志文件,发现需要合并的日志行数超过了500行 阅读全文
posted @ 2021-04-13 15:27 fat_girl_spring 阅读(385) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch是一个非常通用的平台,支持各种各样的用例,并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。虽然不一定会在首次启动时出现问题,但由于数据量随时间的推移,可能会导致性能问题。集群所拥有的数据越多,纠正问题就越困难,甚至有 阅读全文
posted @ 2021-04-13 14:30 fat_girl_spring 阅读(950) 评论(0) 推荐(0) 编辑
摘要:https://www.elastic.co/guide/cn/elasticsearch/guide/current/indexing-performance.html 阅读全文
posted @ 2021-03-26 14:28 fat_girl_spring 阅读(50) 评论(0) 推荐(0) 编辑
摘要:node.master: 这个属性表示节点是否具有成为主节点的资格,注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。所以,这个属性只是代表这个节点是不是具有主节点选举资格。 node.data: 这个属性表示节点是否存储数据。 阅读全文
posted @ 2021-02-24 12:39 fat_girl_spring 阅读(649) 评论(0) 推荐(0) 编辑
摘要:es 写数据过程 客户端选择一个 node 发送请求过去,这个 node 就是 coordinating node(协调节点)。 coordinating node 对 document 进行路由,将请求转发给对应的 node(有 primary shard)。 实际的 node 上的 primar 阅读全文
posted @ 2021-02-23 11:17 fat_girl_spring 阅读(94) 评论(0) 推荐(0) 编辑
摘要:1.index.refresh_interval: "30s" 建议调大点 这个参数的意思是数据写入后几秒可以被搜索到,默认是 1s。每次索引的 refresh 会产生一个新的 lucene 段, 这会导致频繁的合并行为,如果业务需求对实时性要求没那么高,可以将此参数调大,实际调优告诉我,该参数确实 阅读全文
posted @ 2021-02-22 11:53 fat_girl_spring 阅读(1887) 评论(0) 推荐(0) 编辑
摘要:整体流程: 数据写入buffer缓冲和translog日志文件中。 当你写一条数据document的时候,一方面写入到mem buffer缓冲中,一方面同时写入到translog日志文件中。 buffer满了或者每隔1秒(可配),refresh将mem buffer中的数据生成index segme 阅读全文
posted @ 2021-02-20 16:19 fat_girl_spring 阅读(272) 评论(0) 推荐(0) 编辑
摘要:说下shard出现的几个状态说明: relocating_shards shows the number of shards that are currently moving from one node to another node(现网中遇到,因为kill -9重启es的方法不对,导致node 阅读全文
posted @ 2021-02-20 15:54 fat_girl_spring 阅读(392) 评论(0) 推荐(0) 编辑
摘要:1、问题抛出 1.1 新增节点问题 我的群集具有黄色运行状况,因为它只有一个节点,因此副本保持未分配状态,我想要添加一个节点,该怎么弄? 1.2 删除节点问题 假设集群中有5个节点,我必须在运行时删除2个节点。 那么如何在不影响指数的情况下完成? 我有接近10 Gb/hour的连续数据流,这些数据正 阅读全文
posted @ 2021-02-20 15:51 fat_girl_spring 阅读(611) 评论(0) 推荐(0) 编辑
摘要:from + size 浅分页 "浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。 GET test_dev/_search { "query": { "bool": { "filter": [ { 阅读全文
posted @ 2021-02-20 14:25 fat_girl_spring 阅读(246) 评论(0) 推荐(0) 编辑
摘要:跟大多数分布式系统一样,es也通过临时写入写操作来保证数据安全。因为lucene索引过程中,数据会首先据缓存在内存中直到达到一个量(文档数或是占用空间大小)才会写入到磁盘。这就会带来一个风险,如果在写入磁盘前系统崩溃,那么这些缓存数据就会丢失。es通过translog解决了这个问题,每次写操作都会写 阅读全文
posted @ 2021-02-20 14:21 fat_girl_spring 阅读(920) 评论(0) 推荐(0) 编辑
摘要:一、背景介绍 近一年内对公司的 ELK 日志系统做过性能优化,也对 SkyWalking 使用的 ES 存储进行过性能优化,在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。 ELK 架构作为日志存储方案 二、现状分析 1、版本及硬件配置 JDK:JDK1.8_17 阅读全文
posted @ 2021-02-20 12:11 fat_girl_spring 阅读(525) 评论(0) 推荐(1) 编辑
摘要:准备文件cars.csv 将csv文件导入elasticsearch logstash_cars.config 文件的内容如下: input { file { path => "/Users/liuxg/data/cars.csv" start_position => "beginning" sin 阅读全文
posted @ 2021-01-28 11:42 fat_girl_spring 阅读(329) 评论(0) 推荐(0) 编辑
摘要:如果线程过多,在插入到logstash的时候会信息重复 input { tcp { port => 5000 codec => json { charset => "UTF-8" } } } ## Add your filters / logstash plugins configuration h 阅读全文
posted @ 2021-01-27 16:45 fat_girl_spring 阅读(1127) 评论(0) 推荐(0) 编辑
摘要:这篇文章介绍了使用 Logstash 在 Elasticsearch中 对数据进行重复数据删除的方法。 根据你的用例,Elasticsearch中 的重复内容可能不被接受。 例如,如果你要处理指标,则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用例 阅读全文
posted @ 2021-01-27 16:43 fat_girl_spring 阅读(336) 评论(0) 推荐(0) 编辑
摘要:用于根据字典或查找文件过滤传入数据中的特定字段。 然后,如果输入字段与字典查找文件中的条目匹配,则它将执行操作,例如,将字段添加到数据或发送电子邮件。这个和我们之前介绍的数据丰富是一样的。 例子:/tmp/blacklisted_ip.yaml "216.46.173.126": "true" "1 阅读全文
posted @ 2021-01-26 14:34 fat_girl_spring 阅读(540) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示