随笔分类 -  elk

摘要:开启X-Pack # 新版Elastic Stack整合了X-pack,无需单独安装。 echo "xpack.security.enabled: true" >>/etc/elasticsearch/elasticsearch.yml service elasticsearch restart 设 阅读全文
posted @ 2021-05-10 12:10 技术颜良 阅读(473) 评论(0) 推荐(0) 编辑
摘要:https://www.cntofu.com/book/52/index.html 阅读全文
posted @ 2021-04-27 15:23 技术颜良 阅读(109) 评论(0) 推荐(0) 编辑
摘要:Demo 跑起来之后,就需要根据具体的负载和日志进行优化了,本次主要是优化在 Kibana 界面中 [Table] 展开的 Patterns,过多的 Patterns 有几个负面作用:1)、干扰查看信息2)、增大索引占用空间3)、降低 es 的写入性能 ELK各组件版本:(Windows Serve 阅读全文
posted @ 2021-04-27 15:18 技术颜良 阅读(889) 评论(0) 推荐(0) 编辑
摘要:转载于https://www.cnblogs.com/winstom/p/13304559.html 目录 简介 环境准备 安装 配置 hostname 解析 安装 systemd 脚本 生成PKCS#12证书 配置 ARM 架构配置区别 所有节点存入 PKCS#12 秘钥的密码 给所有 ES 配置 阅读全文
posted @ 2021-04-27 14:18 技术颜良 阅读(255) 评论(0) 推荐(0) 编辑
摘要:discovery.zen.minimum_master_nodes对集群的稳定性至关重要,防止脑裂的出现。 脑裂: 如果网络的故障导致一个集群被划分成两片,每片都有多个node,以及一个master。因为master是维护集群状态,以及shard的分配。如果出现了两个master,可能导致数据破损 阅读全文
posted @ 2021-04-26 16:47 技术颜良 阅读(614) 评论(0) 推荐(0) 编辑
摘要:一、安装elasticdump 终端中输入 1 npm install elasticdump -g -g表示全局可用,直接在终端输入 elasticdump --version,出现版本信息即表示安装成功,如下 1 2 C:\Users\T470s>elasticdump --version 6. 阅读全文
posted @ 2021-04-23 17:09 技术颜良 阅读(1094) 评论(0) 推荐(0) 编辑
摘要:PUT /_cluster/settings { "persistent": { "cluster": { "max_shards_per_node":10000 } } 阅读全文
posted @ 2021-04-23 16:47 技术颜良 阅读(656) 评论(0) 推荐(0) 编辑
摘要:设置全局分片数量:put http://196.168.137.100:9200/_template/template_http_request_record{“index_patterns”: ["*"],“settings”: {“number_of_shards”: 5,“number_of_ 阅读全文
posted @ 2021-04-23 16:31 技术颜良 阅读(863) 评论(0) 推荐(0) 编辑
摘要:关键指标说明: status:集群状态,分为green、yellow和red。number_of_nodes/number_of_data_nodes:集群的节点数和数据节点数。active_primary_shards:集群中所有活跃的主分片数。active_shards:集群中所有活跃的分片数。 阅读全文
posted @ 2021-04-20 14:57 技术颜良 阅读(1263) 评论(0) 推荐(0) 编辑
摘要:首先确保elasticsearch处于启动状态,启动elasticsearch的命令为/etc/init.d/elasticsearch start 。启动后我们基于9200端口验证es是否启动成功。具体如下图所示。 2 然后我们输入命令"curl -XGET 'http://localhost:9 阅读全文
posted @ 2021-04-19 18:02 技术颜良 阅读(1956) 评论(0) 推荐(0) 编辑
摘要:Logstash官网最新版下载地址以及YUM源:https://www.elastic.co/cn/downloads/logstash Logstash最常见的运行方式即命令行运行 ./bin/logstash -f logstash.conf 然后通过ctrl+c结束,这种方式的优点在于运行方便 阅读全文
posted @ 2021-03-08 16:43 技术颜良 阅读(1073) 评论(0) 推荐(0) 编辑
摘要:转载于https://dbawsp.com/category/devops/elk Filebeat连接Redis数据库: 当前已经把 Nginx日志配置为 json格式了(要修改nginx日志的格式,请复制下方日志配置到nginx配置中) 如果没有安装nginx,请点击下方文章链接 CentOS- 阅读全文
posted @ 2020-12-25 17:07 技术颜良 阅读(191) 评论(0) 推荐(0) 编辑
摘要:number_of_replicas 是数据备份数,如果只有一台机器,设置为0 number_of_shards 是数据分片数,默认为5,有时候设置为3 可以在线改所有配置的参数,number_of_shards不可以在线改 curl -XPUT '10.0.120.39:9200/_setting 阅读全文
posted @ 2020-12-17 10:00 技术颜良 阅读(2619) 评论(0) 推荐(0) 编辑
摘要:path.config: /usr/local/logstash-7.8.0/config/conf.d/*.conflog.level: error 阅读全文
posted @ 2020-12-17 09:31 技术颜良 阅读(850) 评论(0) 推荐(0) 编辑
摘要:单节点 xpack 配置 也可以参考https://blog.csdn.net/qq330983778/article/details/103537252 修改 ES 配置文件,开启 Security 默认文件:./config/elasticsearch.yml xpack.security.en 阅读全文
posted @ 2020-12-16 12:33 技术颜良 阅读(2208) 评论(0) 推荐(0) 编辑
摘要:请求为 curl -H "Content-Type: application/json" -XPUT -u elastic:XXXX "http://XXXXXX9200/_settings" -d '{"number_of_replicas" : 0} 阅读全文
posted @ 2020-12-02 14:30 技术颜良 阅读(109) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/qq_39506978/article/details/89397518 阅读全文
posted @ 2020-12-02 12:01 技术颜良 阅读(244) 评论(0) 推荐(0) 编辑
摘要:我们通过filebeat收集的日志通常没有进行敏感信息的脱敏工作,以及一些base64超长字符如果不做处理,存储到es及在kibana展示也会耗费性能。针对这两个问题我们可以进行如下配置:1.设置超长字符截取进入logstash安装目录,config文件夹下新建文件logstash_to_es相关配 阅读全文
posted @ 2020-11-23 16:26 技术颜良 阅读(1840) 评论(0) 推荐(0) 编辑