ElasticSearch之Merge

合集 - ElasticSearch(59)

39.ElasticSearch之Merge2023-11-30

40.ElasticSearch之Force merge API2023-11-30 41.ElasticSearch之Task management API2023-11-30 42.ElasticSearch之Slow Log2023-12-01 43.ElasticSearch之Analyze index disk usage API2023-12-02 44.ElasticSearch之Clear cache API2023-12-02 45.ElasticSearch之Create index API2023-12-02 46.ElasticSearch之Clone index API2023-12-02 47.ElasticSearch之Close index API2023-12-02 48.ElasticSearch之Open index API2023-12-02 49.ElasticSearch之Delete index API2023-12-02 50.ElasticSearch之Exists API2023-12-02 51.ElasticSearch之Get index API2023-12-02 52.ElasticSearch之Get index settings API2023-12-02 53.ElasticSearch之Index stats API2023-12-02 54.ElasticSearch之Refresh API2023-12-02 55.ElasticSearch之Shard request cache settings2023-12-09 56.ElasticSearch之Node query cache settings2023-12-11 57.ElasticSearch之Index modules2023-12-17 58.ElasticSearch之集群中的节点2024-10-05 59.ElasticSearch之网络配置2024-10-06

Elasticsearch的shard，即对应Lucene的index。
Lucene的index由多个segment组成。
segment是index保存数据的最小单位，不支持修改。

Elasticsearch在运行过程中，启动后台任务，周期性检测并将占用空间小的segment自动合并至大一些的segment，避免存在过多的segment对象，同时在合并过程中，会剔除掉已删除的记录。

合并操作的过程可能消耗较多的资源，比如CPU和I/O，因此在合并操作运行的过程中，Elasticsearch会自动调整合并操作的吞吐量，优先保证其它业务的正常运行。

Elasticsearch提供了ConcurrentMergeScheduler作为合并操作的调度器，管理合并操作的产生和运行。

ConcurrentMergeScheduler在新的线程中提交合并操作，同时控制合并操作的并发数。当合并操作占用的线程的数量达到index.merge.scheduler.max_thread_count，ConcurrentMergeScheduler将后续待执行的合并操作放至队列中，避免合并操作占用过多的资源，影响其它操作。

相关参数

index.merge.scheduler.max_thread_count
在一个shard上执行merge操作时允许使用的线程的数量。
默认值为Math.max(1, Math.min(4, node.processors / 2))。

修改参数的取值，执行命令如下：

 curl -X PUT "https://localhost:9200/_settings?pretty" -H 'Content-Type: application/json' -d'
{
    "index.merge.scheduler.max_thread_count": 2
}
' --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=*lo7F9"

假如当前没有创建index，则报错信息如下：

 {
  "error" : {
    "root_cause" : [
      {
        "type" : "index_not_found_exception",
        "reason" : "no such index [[]]",
        "index_uuid" : "_na_",
        "index" : "[]"
      }
    ],
    "type" : "index_not_found_exception",
    "reason" : "no such index [[]]",
    "index_uuid" : "_na_",
    "index" : "[]"
  },
  "status" : 404
}

假如当前已有创建好的index，执行结果的样例，如下：

 {
  "acknowledged" : true
}

相关资料

posted @ 2023-11-30 22:33 jackieathome 阅读(54) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· ElasticSearch之Force merge API

· ElasticSearch之Index modules

· Elasticsearch官方文档翻译-合并

· Elasticsearch 性能调优：段合并(Segment merge)

· Elasticsearch深度应用（上）

公告

昵称： jackieathome
园龄： 1年4个月
粉丝： 6
关注： 2

+加关注

2025年3月

日

一

二

三

四

五

六

jackieathome

ElasticSearch之Merge

公告

搜索

常用链接

合集

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

	curl -X PUT "https://localhost:9200/_settings?pretty" -H 'Content-Type: application/json' -d'
	{
	"index.merge.scheduler.max_thread_count": 2
	}
	' --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=*lo7F9"

	{
	"error" : {
	"root_cause" : [
	{
	"type" : "index_not_found_exception",
	"reason" : "no such index [[]]",
	"index_uuid" : "_na_",
	"index" : "[]"
	}
	],
	"type" : "index_not_found_exception",
	"reason" : "no such index [[]]",
	"index_uuid" : "_na_",
	"index" : "[]"
	},
	"status" : 404
	}