ElasticSearch介绍和基本用法
ElasticSearch
引言
1.在海量数据中执行搜索功能时，如果使用MySQL， 效率太低。
2.如果关键字输入的不准确，一样可以搜索到想要的数据。
3.将搜索关键字，以红色的字体展示。
介绍：
es是一个使用java语言并且基于Lucene编写的搜索引擎框架，提供了分布式的全文搜索功能，提供了一个统一的基于restful风格的web接口。
- haystack：全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎。
- whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用，点击查看whoosh文档。
- jieba：一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。
分布式：突出横向扩展能力。
全文检索：将一段词语进行分词，并且将分出的单个词语统一的放到一个分词库中，在搜索时，根据关键字去分词库中检索，找到匹配内容。（倒排索引）
端口：9200
倒排索引
1.将存放的数据，以一定的方式进行分词，并且将分词的数据存放到一个单独的分词库中
2.当用户去查询数据时，会将用户的查询关键字进行分词
3.然后去分词库中匹配内容，最终得到数据的id标识
4.根据id标识去存放数据的位置拉取到指定的数据
不会直接去存放数据的数据库检索而是先去分词库去检索，再返回数据库的数据
1.es服务中可以创建多个索引。
2.es服务每一个索引默认有5个分片。
3.每一个分片都会存在至少一个备份分片。
4.从分片默认是不会帮助检索数据，当es检索压力特别大时，备份分片才会帮助检索数据。
5.备份的分片必须放在不同的服务器中。
分片可以提高检索效率，分片1会备份分片2中的数据，防止分片2挂掉
kibana
kibana端口：5601
查看索引的文档信息
1.配置索引，点击进行下一步
2.点击Discover，进行查看
##启动es和kibana
cd /Users/yutang/docker_es
docker-compose up
1.索引基本操作
1.1 创建一个索引
#创建一个person索引 PUT /person { "settings": { "number_of_shards": 5, //分片数 "number_of_replicas": 1 //备份数 } }
1.2 查看索引信息
#查看索引
GET /person
1.3 删除索引
#删除索引
DELETE /person
1.4 ES中Field可以指定的类型
官网地址核心数据类型地址：https://www.elastic.co/guide/en/elasticsearch/reference/6.5/mapping-types.html
字符串String: text：一般用于全文检索。将当前的field进行分词 keyword: 当前的Field不可被分词 数值类型Numeric： long, integer, short, byte, double, float, half_float, scaled_float 时间类型Data： date，可以指定具体的格式 布尔类型Boolean: boolean 二进制类型Binary： binary 范围类型Range： integer_range, float_range, long_range, double_range, date_range 经纬度类型： geo_point:用来存储经纬度 ip类型： ip：可以存储ipv4或者ipv6
1.5 创建索引并指定数据结构
以创建小说为例子
PUT /book { "settings": { //备份数 "number_of_replicas": 1, //分片数 "number_of_shards": 5 }, //指定具体的数据结构 "mappings": { //指定类型 Type "novel": { //文件存储的Field属性名 "properties": { "name": { "type": "text", //指定分词器的名称 "analyzer": "ik_max_word", //指定当前的Field可以作为查询的条件，默认是true "index": true }, "authoor": { "type": "keyword" }, // 字数 "count": { "type": "long" }, "onSale": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" }, "descr": { "type": "text" } } } } }
1.6 文档的操作
文档在ES服务中的唯一标志，_index, _type, _id 三个内容为组合，来锁定一个文档，操作抑或是修改
PUT要指定id，不然会失败；POST则不用
1.6.1 新建文档
- 自动生成id
POST /book/novel { "name": "西游记", "authoor": "刘明", "onSale": "2020-12-11", "count": 100000, "descr": "哈哈哈哈哈哈" }
- 手动指定ID（更推荐）
PUT /book/novel/1 { "name": "三国演义", "authoor": "小明", "onSale": "2020-12-11", "count": 100000, "descr": "哈哈哈哈哈哈" }
1.6.2 修改文档
-
覆盖式修改
# 直接覆盖id为1的数据 PUT /book/novel/1 { "name": "三国演义", "authoor": "小明", "onsale": "2020-12-11" }
- doc修改方式（更推荐）
POST /book/novel/1/_update { "doc": { "name": "极品家丁" } } #先锁定文档，_update 修改需要的字段即可
1.6.3 删除文档
-
删库
DELETE /book/novel/1
1.6.4 查询结果过滤
_source 过滤显示指定字段
POST /book/novel/_search { "query": { "match_all": {} }, "_source": ["name", "authoor"] }
1.6.5 排序
sort 按照指定顺序返回，此时的_score是nul
POST /book/novel/_search { "query": { "match_all": {} }, "sort": [ { "count": { "order": "desc" //降序 } } ] }
2.ElasticSearch练习
-
索引 ： sms-logs-index
-
类型：sms-logs-type
- 数据导入部分
PUT /sms_logs_index/sms_logs_type/1 { "corpName": "途虎养车", "createDate": "2020-1-22", "fee": 3, "ipAddr": "10.123.98.0", "longCode": 106900000009, "mobile": "1738989222222", "operatorid": 1, "province": "河北", "relyTotal": 10, "sendDate": "2020-2-22", "smsContent": "【途虎养车】亲爱的灯先生，您的爱车已经购买", "state": 0 }
3. ES的各种查询
4.1 term&terms查询
4.1.1 term查询
term的查询是代表完全匹配，搜索之前不会对你搜索的关键字进行分词，对你的关键字去文档分词库中去匹配内容。
#term匹配查询 查询身份是北京的数据 POST /sms_logs_index/sms_logs_type/_search { // limit from,size返回5条数据 "from": 0, "size": 5, "query": { "term": { // term查询 "province": { "value": "河北" } } } } ##完成的匹配，不会对term中所匹配的值进行分词查询
4.1.2terms查询
terms是针对一个字段包含多个值得运用
类似where province = 河北 or province = xxx or province = xxxx
#terms 匹配查询省份是河北或者河南的数据 POST /sms_logs_index/sms_logs_type/_search { "from": 0, "size": 5, "query": { "terms": { "province": [ "河北", "河南", "武汉" ] } } }
4.2 match查询
match查询属于高层查询，它会根据你查询字段类型不一样，采用不同的查询方式
match查询，实际底层就是多个term查询，将多个term查询的结果进行了封装
- 查询的如果是日期或者是数值的话，它会基于你的字符串查询内容转换为日期或者是数值对待
- 如果查询的内容是一个不可被分的内容（keyword），match查询不会对你的查询的关键字进行分词
- 如果查询的内容是一个可被分的内容（text），match则会将你指定的查询内容按照一定的方式去分词，去分词库中匹配指定的内容
4.2.1 match_all查询
查询全部内容，不指定任何查询条件，但只展示10条
POST /sms_logs_index/sms_logs_type/_search { "query": { "match_all": {} } }
4.2.2 match查询 根据某个Field
指定一个Field作为筛选条件
POST /sms_logs_index/sms_logs_type/_search { "query": { "match": { // 收货安装 会进行分词查询 "smsContent": "收货安装" } } }
4.2.3 布尔match查询
基于一个Filed匹配的内容，采用and或者or的方式进行连接
# 布尔match查询 POST /sms_logs_index/sms_logs_type/_search { "query": { "match": { "smsContext": { // 查询smsContext既包含 中国 又包括 健康 "query": "中国 健康", "operator": "and" #or } } } }
4.2.4 multi_match查询
match针对一个field做检索，multi_match针对多个field进行检索，多个key对应一个text
# 查询 "province","smsContext" 包含 北京 的数据 POST /sms_logs_index/sms_logs_type/_search { "query": { "multi_match": { "query": "河北", // 指定text "fields": ["province","smsContext"] //指定field } } }
4.3 ES 的其他查询
4.3.1 ID 查询
# id查询 GET /sms_logs_index/sms_logs_type/1 GET /索引名/type类型/id
4.3.2 ids查询
根据多个id进行查询，类似MySql中的where Id in (id1,id2,id3….)
POST /sms_logs_index/sms_logs_type/_search { "query": { "ids": { "values": [1,2,3] #id值 } } }
4.3.3 prefix查询
前缀查询，可以通过一个关键字去指定一个Field的前缀，从而查询到指定的文档
POST /sms_logs_index/sms_logs_type/_search { "query": { "prefix": { "corpName": { "value": "河" } } } } #与 match查询的不同在于，prefix类似mysql中的模糊查询。而match的查询类似于严格匹配查询 # 针对不可分割词keyword
4.3.4 fuzzy查询
fuzzy查询：模糊查询，我们可以输入一个字符的大概，ES就可以根据输入的内容大概去匹配一下结果，eg.你可以存在一些错别字
#fuzzy查询 #fuzzy查询 POST /sms_logs_index/sms_logs_type/_search { "query": { "fuzzy": { "corpName": { "value": "盒马生鲜", "prefix_length": 2 # 指定前几个字符要严格匹配 } } } } #不稳定，查询字段差太多也可能查不到
4.3.5 wildcard查询
通配查询，与mysql中的like查询是一样的，可以在查询时，在字符串中指定通配符*和占位符？
#wildcard查询 POST /sms_logs_index/sms_logs_type/_search { "query": { "wildcard": { "corpName": { "value": "*车" # 可以使用*和？指定通配符和占位符 } } } } # ?代表一个占位符 # ??代表两个占位符
4.3.6 range查询
范围查询，只针对数值类型，对某一个Field进行大于或者小于的范围指定
POST /sms_logs_index/sms_logs_type/_search { "query": { "range": { "fee": { "gte": 0, "lte": 3 } } } } #查询范围:[gte,lte] #查询范围：(gt,lt)
4.3.7 regexp查询
正则查询，通过你编写的正则表达式去匹配内容
PS: **prefix,fuzzy,wildcar和regexp查询效率相对比较低,**在对效率要求比较高时，避免去使用
POST /sms_logs_index/sms_logs_type/_search { "query": { "regexp": { "mobile": "180[0-9]{8}" //匹配的正则规则 } } }
4.4 深分页Scroll
ES对from+size这种分页形式是有限制，from和size两者之和不能超过1w，超过之后效率非常慢
原理：
from+size ES查询数据的方式： 1 先将用户指定的关键词进行分词处理 2 将词汇去分词库中进行检索，得到多个文档的id 3 去各个分片中拉去指定的数据 耗时 4 根据数据的得分进行排序 耗时 5 根据from的值，将查询到的数据舍弃一部分 6 返回查询结果 Scroll+size 在ES中查询方式： 1 先将用户指定的关键词进行分词处理 2 将词汇去分词库中进行检索，得到多个文档的id 3 将文档的id存放在一个ES的上下文中，ES内存 4 根据你指定给的size的个数去ES中检索指定个数的数据，拿完数据的文档id,会从上下文中移除 5 如果需要下一页的数据，直接去ES的上下文中（内存中），找后续内容 6 循环进行4.5操作
-
不会直接拉取数据，是存储对应数据的id，需要数据时在根据id去拿；而from则是直接获取数据
-
缺点，Scroll是从内存中去拿去数据的，不适合做实时的查询，拿到的数据不是最新的
# 执行scroll查询，返回第一页数据，并且将文档id信息存放在ES的上下文中，1m是保存id一分钟，指定生存时间 POST /sms_logs_index/sms_logs_type/_search?scroll=1m { "query": { "match_all": {} }, "size": 2, // 默认是按照id排序 "sort": [ { "fee": { "order": "desc" } } ] } # 查询下一页的数据 POST /_search/scroll { "scroll_id": "DnF1ZXJ5VGhlbkZldGNoAwAAAAAAACSPFnJjV1pHbENVVGZHMmlQbHVZX1JGdmcAAAAAAAAkkBZyY1daR2xDVVRmRzJpUGx1WV9SRnZnAAAAAAAAJJEWcmNXWkdsQ1VUZkcyaVBsdVlfUkZ2Zw==", "scoll" :"1m" // scorll信息的生存时间 } # 删除scroll在ES中上下文的数据 DELETE /_search/scroll/scroll_id
4.5 delete-by-query
根据term，match等查询方式去删除大量的文档
如果你需要删除的内容，是index下的大部分数据，不建议使用，建议逆向操作，创建新的索引，添加需要保留的数据内容
POST /sms_logs_index/sms_logs_type/_delete_by_query { // 正常的查询语句 "query": { "range": { "relyTotal": { "gte": 2, "lte": 3 } } } } ## 中间跟你的查询条件，查到什么，删什么
4.6 复合查询
4.6.1 bool查询
复合过滤器，可以将多个查询条件以一定的逻辑组合在一起，and or
- must：所有的条件，用must组合在一起，表示AND
- must_not：将must_not中的条件，全部不能匹配，表示not的意思，不能匹配该查询条件
- should：所有条件，用should组合在一起，表示or的意思，文档必须匹配一个或者多个查询条件
- filter：过滤器，文档必须匹配该过滤条件，跟must子句的唯一区别是，filter不影响查询的score
#查询省份为 河北 或者 河南 的 #并且公司名不是 河马生鲜 的 #并且smsContent中包含 中国 平安 两个字 POST /sms_logs_index/sms_logs_type/_search { "query": { "bool": { // 或者 "should": [ { "term": { "province": { "value": "河北" } } }, { "term": { "province": { "value": "河南" } } } ], // 非not "must_not": [ { "term": { "corpName": { "value": "河马生鲜" } } } ], // 必须包含 "must": [ { "match": { "smsContext": "中国" } }， { "match": { "smsContext": "平安" } } ] } } }
4.6.2 boosting 查询
boosting 查询可以帮助我们去影响查询后的score
- positive：只有匹配上positive 查询的内容，才会被放到返回的结果集中
- negative：如果匹配上了positive 也匹配上了negative, 就可以降低这样的文档score
- negative_boost：指定score系数，必须小于1，减小分数 0.5
关于查询时，分数时如何计算的：
- 搜索的关键字再文档中出现的频次越高，分数越高
- 指定的文档内容越短，分数越高。
- 我们再搜索时，指定的关键字也会被分词，这个被分词的内容，被分词库匹配的个数越多，分数就越高。
#boosting 查询 POST /sms-logs-index/sms-logs-type/_search { "query": { "boosting": { "positive": { "match": { "smsContent": "战士" } }, "negative": { "match": { "smsContent": "团队" } }, "negative_boost": 0.2 } } }
4.7 filter 查询
query 查询：根据你的查询条件，去计算文档的匹配度得到一个分数，并根据分数排序，不会做缓存的。用于获取匹配度最高大的数据
filter 查询：根据查询条件去查询文档，不去计算分数，也就不用排序，而且filter会对经常被过滤的数据进行缓存。不需要关注匹配的数据，追求效率
#filter 查询 POST /sms-logs-index/sms-logs-type/_search { "query": { "bool": { "filter": [ { "term": { "corpName": "海尔智家公司" } }, { "range":{ "fee":{ "lte":50 } } } ] } } }
4.8 高亮查询
高亮查询就是用户输入的关键字，以一定特殊样式展示给用户，让用户知道为什么这个结果被检索出来
高亮展示的数据，本身就是文档中的一个field,单独将field以highlight的形式返回给用户
ES提供了一个highlight 属性，他和query 同级别。
- frament_size：指定高亮数据展示多少个字符回来
- pre_tags：指定前缀标签
- post_tags：指定后缀标签
- fields：指定哪个字段以高亮显示，可以指定多个
#highlight 高亮查询 POST /sms-logs-index/sms-logs-type/_search { "query": { "match": { "smsContent": "团队" } }, "highlight": { "fields": { "smsContent":{} }, "pre_tags":"<font color='red'>", "post_tags":"</font>", "fragment_size":10 } } # 返回时会新增highlight
4.9 聚合查询
ES的聚合查询和mysql 的聚合查询类似，ES的聚合查询相比mysql 要强大得多。ES提供的统计数据的方式多种多样。
#ES 聚合查询的RSTFul 语法 POST /index/type/_search { "aggs":{ "(名字)agg":{ // 自己取名字 "agg_type":{ "属性"："值" } } } }
4.9.1 去重计数聚合查询
去重计数，cardinality 先将返回的文档中的一个指定的field进行去重，统计一共有多少条
# 去重计数 查询 province POST /sms-logs-index/sms-logs-type/_search { "aggs": { "provinceAgg": { "cardinality": { "field": "province" } } } }
4.9.2 范围统计
统计一定范围内出现的文档个数，比如，针对某一个field 的值再0100,100200,200~300 之间文档出现的个数分别是多少
范围统计可以针对普通的数值，针对时间类型，针对ip类型都可以响应。
- 数值 range
- 时间 date_range
- ip ip_range
#针对数值方式的范围统计 from 带等于效果 ，to 不带等于效果 POST /sms-logs-index/sms-logs-type/_search { "aggs": { "agg": { "range": { "field": "fee", "ranges": [ // 最小到30 { "to": 30 }, // 30<= <60 { "from": 30, "to": 60 }, // 60<= { "from": 60 } ] } } } }
#时间方式统计 2000以前 和 2000以后的 POST /sms-logs-index/sms-logs-type/_search { "aggs": { "agg": { "date_range": { "field": "sendDate", "format": "yyyy", // 年 "ranges": [ { "to": "2000" },{ "from": "2000" } ] } } } }
#ip 方式 范围统计 POST /sms-logs-index/sms-logs-type/_search { "aggs": { "agg": { "ip_range": { "field": "ipAddr", "ranges": [ { // 小于 "to": "127.0.0.8" }, { "from": "127.0.0.8" } ] } } } }
4.9.3 统计聚合
他可以帮你查询指定field 的最大值，最小值，平均值，平方和…
使用 extended_stats
# 统计聚合查询 extended_stats POST /sms-logs-index/sms-logs-type/_search { "aggs": { "agg": { "extended_stats": { "field": "count" } } } } # 结果 "aggregations" : { "NAME" : { "count" : 1, "min" : 100000.0, "max" : 100000.0, "avg" : 100000.0, "sum" : 100000.0, "sum_of_squares" : 1.0E10, "variance" : 0.0, "std_deviation" : 0.0, "std_deviation_bounds" : { "upper" : 100000.0, "lower" : 100000.0 } } }
4.9.4 其他聚合查询 查看官方文档
https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search-aggregations-metrics-weight-avg-aggregation.html
4.10 地图经纬度搜索
#创建一个经纬度索引,指定一个 name ,一个location PUT /map { "settings": { "number_of_shards": 5, "number_of_replicas": 1 }, "mappings": { "map":{ "properties":{ "name":{ "type":"text" }, "location":{ "type":"geo_point" //经纬度类型 } } } } } #添加测试数据 PUT /map/map/1 { "name":"天安门", "location":{ "lon": 116.403694, "lat":39.914492 } } PUT /map/map/2 { "name":"百望山", "location":{ "lon": 116.26284, "lat":40.036576 } } PUT /map/map/3 { "name":"北京动物园", "location":{ "lon": 116.347352, "lat":39.947468 } }
4.10.1 ES 的地图检索方式
geo_distance：直线距离检索方式
geo_bounding_box：以2个点确定一个矩形，获取再矩形内的数据
geo_polygon：以多个点，确定一个多边形，获取多边形的全部数据
####4.10.2 基于RESTFul 实现地图检索
#geo_distance POST /map/map/_search { "query": { "geo_distance":{ // 确定一个点 "location":{ "lon":116.434739, "lat":39.909843 }, // 确定半径 单位是米 "distance":20000, // 指定形状为圆形 "distance_type":"arc" } } }
#geo_bounding_box POST /map/map/_search { "query":{ "geo_bounding_box":{ "location":{ "top_left":{ "lon":116.327805, "lat":39.95499 }, "bottom_right":{ "lon": 116.363162, "lat":39.938395 } } } } }
#geo_polygon POST /map/map/_search { "query":{ "geo_polygon":{ "location":{ // 指定多个点确定 位置 "points":[ { "lon":116.220296, "lat":40.075013 }, { "lon":116.346777, "lat":40.044751 }, { "lon":116.236106, "lat":39.981533 } ] } } } }
————————————————
版权声明：本文为CSDN博主「tang_yu_mac」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/tang_yu_mac/article/details/109412866
