Es 常用
1、Es的客户端,通过python查
from elasticsearch import Elasticsearch
import json
es = Elasticsearch(['127.0.0.1:9202'])
with open('/tmp/index.txt','r') as f:
content = [line.strip() for line in f]
#print (content)
for index in content:
res = es.search(index=index,size=1)
#print (res)
#res = json.loads(res)
#print (res)
source = res['hits']['hits'][0]['_source']['source']
print (source)
2、es聚合查询过大导致实例挂
https://www.jianshu.com/p/3993d0acb187
2、fielddata内存限制
indices.fielddata.cache.size:20%,超出限制,清除内存已有fielddata数据。这个是写到es.yml里的
fielddata占用的内存超出了这个比例的限制,那么就清除掉内存中已有的fielddata数据。
默认无限制,限制内存使用,但是会导致频繁evict和reload,大量IO性能损耗,以及内存碎片和gc
3、监控fielddata内存使用情况
GET /_stats/fielddata?fields=*
GET /_nodes/stats/indices/fielddata?fields=*
GET /_nodes/stats/indices/fielddata?level=indices&fields=*
4、circuit breaker
如果一次query load的feilddata超过总内存,就会oom --> 内存溢出
circuit breaker会估算query要加载的fielddata大小,如果超出总内存,就短路,query直接失败
indices.breaker.fielddata.limit:fielddata的内存限制,默认60%
indices.breaker.request.limit:执行聚合的内存限制,默认40%
indices.breaker.total.limit:综合上面两个,限制在70%以内
也是配置到es.yml中的
Exporter 内容
https://blog.csdn.net/Q748893892/article/details/107206840
Es7 优化参数:
curl -H "Content-Type: application/json" -XPUT 'http://10.62.200.34:9201/_all/_settings?preserve_existing=true' -d '{
"index.refresh_interval" : "120s",
"index.translog.durability" : "async",
"index.translog.flush_threshold_size" : "2096mb",
"index.translog.sync_interval" : "120s"
}'
curl -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{
"index.merge.scheduler.max_thread_count" : "1",
"index.refresh_interval" : "300s"
}'
index.merge.scheduler.max_thread_count:1 # 索引 merge 最大线程数
indices.memory.index_buffer_size:30% # 内存
index.translog.durability:async # 这个可以异步写硬盘,增大写的速度
index.translog.sync_interval:120s #translog 间隔时间
discovery.zen.ping_timeout:120s # 心跳超时时间
discovery.zen.fd.ping_interval:120s # 节点检测时间
discovery.zen.fd.ping_timeout:120s #ping 超时时间
discovery.zen.fd.ping_retries:6 # 心跳重试次数
thread_pool.bulk.size:20 # 写入线程个数 由于我们查询线程都是在代码里设定好的,我这里只调节了写入的线程数
thread_pool.bulk.queue_size:1000 # 写入线程队列大小
index.refresh_interval:300s #index 刷新间隔