Es 总结
什么是分片?
# put a1/doc/1
- a1 索引下 创建了5个主分片, 每一个主分片对应一个复制分片
es 如何处理分页?
- from / size
elsaticsearch 和 lucene 的区别
- lucene : 是搜索引擎库
- es 封装了lucene , 把所有的复杂操作,通过restful 规范 ,以接口的形式抛出
为什么使用es
- 查询速度快
如何使用python查询elasticsearch中有多少个索引?
from elasticsearch import Elasticsearch
es = Elasticsearch()
# 1. 查询 es集群中有多少 索引库
print(es.cat.indices())
print(es.cat.indices(format='json')) # json化
print(len(es.cat.indices(format='json'))) # json化
如何使用 python 将10G的数据 写入到es中
- 批量写入 helper.bulk(es,actions)
# es 是 es索引库对象
# actions 是包含 数据 集合/生成器/列表等,可迭代的数据类型,
'''
# 批量插入
# 1. 通过 helper.bulk来批量创建数据
# 2. 将所有的数据定义成字典形式,包含:
# 2.1 _index 对应的索引名称 , 该索引必须存在
# 2.2 _type 对应类型名称
# 2.3 _source 对应的字典内,每一篇文档的字段和值
:return:
'''
action = [
{
"_index":"t2",
"_type":"doc",
"_source":{
"title":i
}
}
for i in range(1000)]
helpers.bulk(es,action)
# 不采用多线程的方式, 确保数据安全,不会丢失
说一下复制分片的作用
*** - 高可用, 相当于每一台机器上都存了一份备份数据
- 排除一个集群只有一个节点
- 当集群中有多少个节点的时候,es会自动的将主复分片分开
es优化
- 适当的调大系统打开文件的最大数, 默认是 1024
- 修改配置文件,调整es的jvm的内存大小,一般不超过32G. java中存在 `指针压缩` 的技术, jvm的内存越大,指针越大,导致消耗的资源也大
- 分片的数量最好设置在 5-20 个内.
- es的一个分片最多存20G数据 , 分片的数量在创建索引库时就指定好,创建好索引库后不允许修改分片的数量
- 分片设置过多会导致检索的比较慢 , 也会导致检索时打开比较多的文件, 导致服务器之间通信慢.
- 分片数过少会导致`单个分片的索引过大`,也会导致检索数据比较慢. 副本数多可以提升搜索的能力,如果设置的副本数过多,也是对服务器造成额外的压力.因为 分片需要同步. 所以设置2-3个即可
使用路由的优势?
1. 提高检索效率
2. 同类型的数据放在一起
3. 一个索引可以设置多个路由,由多个路由去处理检索或者是新增
如何解决路由导致集群数据偏移问题
# 什么是偏移?
- 一个索引上 有A,B,C三个路由. 所有数据都往A上存,B,C路由不存数据的现象
# 怎么解决
- 限制路由的数量,
setting配置: "index.routing_partition_size":3
脑裂
# 1. 什么是闹裂?
- 只出现在集群中
- 集群由于网络或者其他因素,导致集群一分为二,或更多. 通过 选举算法,分裂的集群可能会产生多个主节点
# 2. 怎么解决?
- 选举算法限制: 分裂出的机器数量小于 总集群数量的一半+1,不能选举主节点
如何在django中使用es
# es 本身就是一个搜索引擎,提高的是查询数据速度
# 1. 当数据存储到数据库之前,整合数据的有用信息和具体的访问url信息,存储到ES中. 目的是快速搜索.
# 2. 当用户想查看具体信息时,可以通过 url, 访问数据库得到更具体的信息
