随笔分类 -  elasticsearch

elasticsearch esrally 性能测试实操
摘要:目录准备数据docker 测试环境准备正式测试 最新在用 esrally 测试 es 的性能,今天把相关操作记录下。本人非专业测试,各位大佬请轻喷。 关于 esrally 的文档,请移步:esrally测试 esrally 是个 elastic 官方的测试工具,可以对 es 进行压力测试。其运行对环 阅读全文

posted @ 2024-03-27 15:08 进击的davis 阅读(507) 评论(0) 推荐(0)

elasticsearch 组件基于单机的多实例集群
摘要:声明: 本示例主要作为测试用,生产请慎重。 最近公司突发奇想,想让我们搞个单机多实例的 es 的集群,看看其性能咋样。通常来说,es 作为搜索引擎,应用场景不乏日志分析、网络安全、搜索引擎等,有时也会用作日志数据库使用,毕竟其出色的搜索查询性能,不是同等量级 关系型数据库可以比拟的,主要还是因为其 阅读全文

posted @ 2024-03-26 10:15 进击的davis 阅读(156) 评论(0) 推荐(0)

elasticsearch ilm 再学习与实战
摘要:目录了解应用其他脚本 了解 如果你对 es 有一定的使用经验,相信应该听过 ilm 机制,没错,就是 es 的索引生命周期管理机制。 在实际项目应用中,合理应用 ilm 机制可以解放我们的双手,不用手动去管理索引的新建、切分,只需要内部机制处理索引,如: 1.最新的数据可读可写 2.次新的数据仅可读 阅读全文

posted @ 2024-03-21 16:01 进击的davis 阅读(436) 评论(0) 推荐(0)

python 实现索引生命周期管理-index_lifecycle_manage的简单应用
摘要:在elasticsearch 6.x后,出了一项功能叫做生命周期管理, index lifecycle manage,通过ilm可以实现索引数据的hot-warm-cold-delete,四种状态的管理,当然在实际应用中,这四种形态我们不一定都要用上,有的项目业务可能直接就是hot-delete两种 阅读全文

posted @ 2022-07-21 10:45 进击的davis 阅读(252) 评论(0) 推荐(0)

es6.18升级到es7.17的不同点记录
摘要:1.total的问题 es6中,我们通过搜索条件查询,得到的响应中,total的数值通过解析res["hits"]["total"]即可得到 es7中,total另外又包了一层,应该是res["hits"]["total"]["value"] 下图是es6 vs es7的返回结果的total字段的区 阅读全文

posted @ 2022-04-15 09:47 进击的davis 阅读(680) 评论(0) 推荐(0)

Elasticsearch 学习之概览
摘要:elasticsearch工作原理 elasticsearch 工作原理 elasticsearch索引原理 elasticsearch全文检索总结 Elasticsearch 技术分析: 分布式工作原理 ES读写数据的工作原理 elasticseach集群 Elasticsearch集群角色类型n 阅读全文

posted @ 2021-11-04 11:40 进击的davis 阅读(55) 评论(0) 推荐(0)

elasticsearch全文检索总结
摘要:转载: https://www.cnblogs.com/jajian/p/11223992.html elasticsearch思维导图(自园友-ReyCG): 生活中的数据 搜索引擎是对数据的检索,所以我们先从生活中的数据说起。 我们生活中的数据总体分为两种:结构化数据 和 非结构化数据。 结构化 阅读全文

posted @ 2021-11-03 16:27 进击的davis 阅读(418) 评论(0) 推荐(0)

elasticsearch索引原理
摘要:转载: https://www.cnblogs.com/jajian/p/10737373.html 前言 创建索引的时候,我们通过Mapping 映射定义好索引的基本结构信息,接下来我们肯定需要往 ES 里面新增业务文档数据了,例如用户,日志等业务数据。新增的业务数据,我们根据 Mapping 来 阅读全文

posted @ 2021-11-03 16:25 进击的davis 阅读(220) 评论(0) 推荐(1)

elasticsearch 性能优化
摘要:转载: https://www.cnblogs.com/jajian/p/10465519.html 硬件选择 Elasticsearch(后文简称 ES)的基础是 Lucene,所有的索引和文档数据是存储在本地的磁盘中,具体的路径可在 ES 的配置文件../config/elasticsearch 阅读全文

posted @ 2021-11-03 16:23 进击的davis 阅读(205) 评论(0) 推荐(0)

Elasticsearch 技术分析: 分布式工作原理
摘要:转载: https://www.cnblogs.com/jajian/p/10176604.html 前言 通过前面章节的了解,我们已经知道 Elasticsearch 是一个实时的分布式搜索分析引擎,它能让你以一个之前从未有过的速度和规模,去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三 阅读全文

posted @ 2021-11-03 15:15 进击的davis 阅读(146) 评论(0) 推荐(0)

elasticsearch:避免es集群的“脑裂”现象
摘要:链接:https://www.jianshu.com/p/2e78d50c1ec9 所谓脑裂问题(类似于精神分裂),就是同一个集群中的不同节点,对于集群的状态有了不一样的理解。 情况描述,通过以下命令查看集群状态: curl -XGET 'es-1:9200/_cluster/health' 发现, 阅读全文

posted @ 2021-11-03 10:31 进击的davis 阅读(1231) 评论(0) 推荐(0)

ElasticSearch 基本概念和配置
摘要:转载参考: https://my.oschina.net/Yumikio/blog/805877 https://www.cnblogs.com/hujihon/p/5656981.html https://cloud.tencent.com/developer/article/1546912 几个 阅读全文

posted @ 2021-11-03 10:13 进击的davis 阅读(205) 评论(0) 推荐(0)

Elasticsearch集群角色类型node.master及node.data
摘要:在Elasticsearch当中,ES分为三种角色:master、data、client。 三种角色由elasticsearch.yml配置文件中的node.master、node.true来控制。 如果不修改elasticsearch的节点角色信息,那么默认就是node.master: true、 阅读全文

posted @ 2021-11-02 17:47 进击的davis 阅读(2595) 评论(0) 推荐(0)

helm v3 调试 k8s elasticsearch集群(5)
摘要:链接:helm v3部署es集群 上次我们已经通过helm部署了es的release,es集群是起来了,功能也正常,这次我们模拟测试,简单验证es的功能与性能。 测试主要分: 节点宕机 存储不足 待完善 本次测试,将master设replicas为3,data设置为3,client设置为2,因为只需 阅读全文

posted @ 2021-11-01 11:30 进击的davis 阅读(351) 评论(0) 推荐(0)

helm3部署es kubernetes高可用集群-实践记录(4)
摘要:helm使用hostpath部署es 环境汇总: 节点数:3 nodes 91/92/93 k8s: v1.20.5 helm: v3.2.0 elasticsearch: 6.8.18 1.创建操作空间&前期准备 参考:快速搭建Kubernetes高可用集群七 ELKSTACK 部署 https: 阅读全文

posted @ 2021-10-30 17:16 进击的davis 阅读(1651) 评论(0) 推荐(0)

kubernetes-helm部署es问题记录(3)
摘要:环境汇总: k8s: v1.20.5 helm: v3.2.0 elasticsearch: 6.8.18 1.helm install es-master data节点一直处于pending状态 问题截图: 问题排查: kubectl describe pod gxsk-master-0 -n e 阅读全文

posted @ 2021-10-30 09:59 进击的davis 阅读(169) 评论(0) 推荐(0)

docker安装Elasticsearch6.8集群并设置密码
摘要:参考: https://cloud.tencent.com/developer/article/1612794 Elasticsearch从6.8开始, 允许免费用户使用X-Pack的安全功能, 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过程,我们将使用docker安装我 阅读全文

posted @ 2021-09-23 18:30 进击的davis 阅读(2006) 评论(0) 推荐(0)

使用kibana实现elasticsearch的增删改查
摘要:0.添加索引|mapping # 创建索引 PUT lagou { "settings":{ "index":{ "number_of_shards":5, "number_of_replicas":1 } } } #number_of_shards 分片数量 #number_of_replicas 阅读全文

posted @ 2021-07-06 17:12 进击的davis 阅读(696) 评论(0) 推荐(0)

elasticsearch Delete (根据条件删除)
摘要:elasticsearch Delete (根据条件删除) DELETE /索引名/需要清空的type/_query { "query": { "match_all": {} } } elasticsearch Post(根据条件删除,没有数据执行失败) POST sms_index/_delete 阅读全文

posted @ 2021-05-29 16:29 进击的davis 阅读(715) 评论(0) 推荐(0)

python实现elasticsearch的update操作,不改变原数据,增加字段,或者查询更新
摘要:直接上代码: from elasticsearch import Elasticsearch ES_URL = 'http://172.30.3.57:9200/' es_client = Elasticsearch(ES_URL) def get_data_update_data(): query 阅读全文

posted @ 2021-05-26 15:05 进击的davis 阅读(2076) 评论(0) 推荐(0)

导航