随笔分类 - elasticsearch
摘要：centos7.7环境下使用docker-compose部署elasticsearch7.4集群并设置密码Elasticsearch从6.8开始，允许免费用户使用X-Pack的安全功能，设置密码了会让系统安全很多因为es是有状态的系统，生产环境中最好直接部署在宿主机中，此次部署是测试开发环境，直接使
阅读全文
摘要：centos7.8环境下通过快照功能恢复数据到elasticsearch6.8.12集群中需求：elasticsearch老的集群部署不规范，需要迁移到新的集群中，并且启用x-pach的密码验证功能整体步骤：1.搭建新集群，并启用repo功能2.将老集群的数据创建快照，并导入到新集群中(esdump
阅读全文
摘要：配置logstash拉取myql8.0.18数据库中的数据到elastcisearch中环境:系统：centos7.8_x86_64# java --versionopenjdk 13.0.1 2019-10-151.下载并配置logstash# 修改 logstash.yml path.confi
阅读全文
摘要：数据库磁盘空间不够，需要对索引进行清理，如果是mysql直接truncate tablename 就行了看了一下网上的主流做法，一种是删除索引重建索引，其次是删除数据一、直接删除所有数据(类似mysql的delete方法，基本是删不动，放弃)POST quality_control/my_type/
阅读全文
摘要：整体策略：将集群配置好：通过命令 curl ip:9200/_cluster/health?pretty 检查状态为green然后再次修改配置文件启用xpack认证，并拷贝认证文件到各节点，重启集群的节点，访问api通过账号密码验证1.配置基础环境# 创建相关的日志和数据目录mkdir -p /da
阅读全文
摘要：elasticsearch7.4报错failed to load plugin class [org.elasticsearch.xpack.core.XPackPlugin elastic-certificates.p12 is blocked的问题解决 Java HotSpot(TM) 64-B
阅读全文
摘要：# 修改 elastic 密码，只需要修改其中一台集群其他服务器不需要重复执行-u: 输入现在的用户名密码 -d : 新密码# curl -H "Content-Type:application/json" -XPOST -u elastic:now_password 'http://10.10.1
阅读全文
摘要：集群环境： centos7.6 + elasticsearch7.5.1 3台集群服务器，三台服务器都是8核32G内存，SSD磁盘，都充当数据节点，一台主节点 现象： es集群状态是绿色，es的磁盘io和cpu使用率都很高，php客户端连接查询超时 集群日志出现大量如下报错： [2020-05-12
阅读全文
摘要：elasticsearch7.5.1集群安装elasticsearch-jieba-plugin 7.4.2 和analysis-kuromoji 日语分词器 安装插件需要在集群的其中一个节点安装后重启es程序，没有问题后拷贝到其他节点重启后生效 1.elasticsearch-jieba需要使用g
阅读全文
摘要：centos7.6系统的elasticsearch7.5.1集群部署整体策略：将集群配置好，并且通过命令 curl 10.10.17.19:9200/_cluster/health?pretty 检查状态为green然后再次修改配置文件启用xpack认证，并拷贝认证文件到各节点，重启集群的节点1.配
阅读全文
摘要：centos7.6安装python3.6.9+elastalert 1.编译安装python3.6.9环境 # 安装依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel...
阅读全文
摘要：elasticsearch保存在一个索引中数据量太大无法查询，现在需要将索引按照天来建，查询的时候关联查询即可 有时候es集群创建了很多索引，删不掉，如果是测试环境或者初始化es集群(清空所有数据)，可以直接关掉elastic进程，然后删除nodes下面的所有数据，再次启动集群即可，记录一下避免忘记
阅读全文
摘要：最近几天的push:user:req数据写不到集群，报错如下： 搜索了下：是lucene的文档数限制，每个分片最大支持2的31次方个文档数量https://discuss.elastic.co/t/lucene-max-documents-limit/34761Lucene max document
阅读全文
摘要：1.首先查看集群整体健康状态 如果是red状态，说明有节点挂掉，找到挂掉的索引分片和节点 如下例子，可以看到 voice:live:logout 这个索引的0分片都没有分配说明挂掉了，我们可以查看之前正常的时候的分片情况(可以定期将分片的分配情况记录下来) 定期记录分片的脚本 2.依次查询节点的健康
阅读全文
摘要：当es集群的数据量较小的情况下elasticdump这个工具比较方便，但是当数据量达到一定级别比如上百G的时候，elasticdump速度就很慢了，此时我们可以使用快照的方法进行备份 elasticdump工具的使用可以参考 博文：elasticsearch5.0.1集群一次误删除kibana索引引
阅读全文
摘要：elasticsearch集群中一次删除kibana索引引发的血案 1.问题发生的过程： 早上的时候有某个索引无法看到报表数据，于是就点该报表多次，估计集群被点挂了，报错：Elasticsearch is still initializing the kibana index 当时有点慌估计是昏了头
阅读全文
摘要：elasticsearch5.0.1安装 marvel 插件 1.在elasticsearch上安装x-pach插件 在elasticsearch的根目录（每个节点），运行 bin/elasticsearch-plugin进行安装 # bin/elasticsearch-plugin install
阅读全文
摘要：简单命令监控elasticsearch集群状态 原理： 使用curl命令模拟访问任意一个es节点可以反馈的集群状态，集群的状态需要为green curl -sXGET http://serverip:9200/_cluster/health/?pretty { "cluster_name" : "y
阅读全文