分布式搜索引擎--01

1.elasticsearch的作用

elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容

1.1.0.ELK技术栈

elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域,而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。

1.1.1elasticsearch和lucene

elasticsearch底层是基于lucene来实现的。

Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。

2.倒排索引

倒排索引的概念是基于MySQL这样的正向索引而言的。

2.1.0.倒排索引

倒排索引中有两个非常重要的概念：

文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理，流程如下：

将每一个文档的数据利用算法分词，得到一个个词条
创建表，每行数据包括词条、词条所在文档id、位置等信息
因为词条唯一性，可以给词条创建索引，例如hash表结构索引

2.1.1.正向和倒排

正向索引：

优点：
- 可以给多个字段创建索引
- 根据索引字段搜索、排序速度非常快
缺点：
- 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

优点：
- 根据词条搜索、模糊搜索时，速度非常快
缺点：
- 只能给词条创建索引，而不是字段
- 无法根据字段做排序

3.索引库操作

索引库就类似数据库表，mapping映射就类似表的结构。

我们要向es中存储数据，必须先创建“库”和“表”。

3.1.mapping映射属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

type：字段数据类型，常见的简单类型有：
- 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
- 数值：long、integer、short、byte、double、float、
- 布尔：boolean
- 日期：date
- 对象：object
index：是否创建索引，默认为true
analyzer：使用哪种分词器
properties：该字段的子字段

例如下面的json文档：

 {
    "age": 21,
    "weight": 52.1,
    "isMarried": false,
    "info": "黑马程序员Java讲师",
    "email": "zy@itcast.cn",
    "score": [99.1, 99.5, 98.9],
    "name": {
        "firstName": "云",
        "lastName": "赵"
    }
}

对应的每个字段映射（mapping）：

age：类型为 integer；参与搜索，因此需要index为true；无需分词器
weight：类型为float；参与搜索，因此需要index为true；无需分词器
isMarried：类型为boolean；参与搜索，因此需要index为true；无需分词器
info：类型为字符串，需要分词，因此是text；参与搜索，因此需要index为true；分词器可以用ik_smart
email：类型为字符串，但是不需要分词，因此是keyword；不参与搜索，因此需要index为false；无需分词器
score：虽然是数组，但是我们只看元素的类型，类型为float；参与搜索，因此需要index为true；无需分词器
name：类型为object，需要定义多个子属性
- name.firstName；类型为字符串，但是不需要分词，因此是keyword；参与搜索，因此需要index为true；无需分词器
- name.lastName；类型为字符串，但是不需要分词，因此是keyword；参与搜索，因此需要index为true；无需分词器

3.2.索引库的CRUD

3.2.1.创建索引库和映射

基本语法：

请求方式：PUT
请求路径：/索引库名，可以自定义
请求参数：mapping映射
格式：

 PUT /索引库名称
{
  "mappings": {
    "properties": {
      "字段名":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "字段名2":{
        "type": "keyword",
        "index": "false"
      },
      "字段名3":{
        "properties": {
          "子字段": {
            "type": "keyword"
          }
        }
      },
      // ...略
    }
  }
}

3.2.2.创建索引库和映射

基本语法：

请求方式：GET
请求路径：/索引库名
请求参数：无

格式：

 GET /索引库名

3.2.3.修改索引库

倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库一旦创建，无法修改mapping。

虽然无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。

语法说明:

 PUT /索引库名/_mapping
{
  "properties": {
    "新字段名":{
      "type": "integer"
    }
  }
}

3.2.4.删除索引库

语法：

请求方式：DELETE
请求路径：/索引库名
请求参数：无

格式：

 DELETE /索引库名

3.3.文档操作

3.3.1.新增文档

语法：

 POST /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

3.3.2.查询文档

根据rest风格，新增是post，查询应该是get，不过查询一般都需要条件，这里我们把文档id带上。

语法：

 GET /{索引库名称}/_doc/{id}

通过kibana查看数据：

 GET /heima/_doc/1

3.3.3.删除文档

删除使用DELETE请求，同样，需要根据id进行删除：

语法：

 DELETE /{索引库名}/_doc/id值

3.3.4.修改文档

修改有两种方式：

全量修改：直接覆盖原来的文档
根据指定的id删除文档
新增一个相同id的文档

语法：

 PUT /{索引库名}/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

增量修改：修改文档中的部分字段

增量修改是只修改指定id匹配的文档中的部分字段。

语法：

 POST /{索引库名}/_update/文档id
{
    "doc": {
         "字段名": "新的值",
    }
}

4.RestAPI

ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。官方文档地址：https://www.elastic.co/guide/en/elasticsearch/client/index.html

其中的Java Rest Client又包括两种：

Java Low Level Rest Client
Java High Level Rest Client

我们学习的是Java HighLevel Rest Client客户端API

4.1.新增文档

 @Test
void testAddDocument() throws IOException {
    // 1.根据id查询酒店数据
    Hotel hotel = hotelService.getById(61083L);
    // 2.转换为文档类型
    HotelDoc hotelDoc = new HotelDoc(hotel);
    // 3.将HotelDoc转json
    String json = JSON.toJSONString(hotelDoc);
 
    // 1.准备Request对象
    IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());
    // 2.准备Json文档
    request.source(json, XContentType.JSON);
    // 3.发送请求
    client.index(request, RequestOptions.DEFAULT);
}

4.2.查询文档

查询的DSL语句如下：

 GET /hotel/_doc/{id}

解析就是拿到_source，反序列化为Java对象即可

代码如下

 @Test
void testGetDocumentById() throws IOException {
    // 1.准备Request
    GetRequest request = new GetRequest("hotel", "61082");
    // 2.发送请求，得到响应
    GetResponse response = client.get(request, RequestOptions.DEFAULT);
    // 3.解析响应结果
    String json = response.getSourceAsString();
 
    HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
    System.out.println(hotelDoc);
}

4.3.删除文档

删除的DSL为是这样的：

 DELETE /hotel/_doc/{id}

代码如下

 @Test
void testDeleteDocument() throws IOException {
    // 1.准备Request
    DeleteRequest request = new DeleteRequest("hotel", "61083");
    // 2.发送请求
    client.delete(request, RequestOptions.DEFAULT);
}

4.2.查询文档

查询的DSL语句如下：

 GET /hotel/_doc/{id}

解析就是拿到_source，反序列化为Java对象即可

代码如下

 @Test
void testGetDocumentById() throws IOException {
    // 1.准备Request
    GetRequest request = new GetRequest("hotel", "61082");
    // 2.发送请求，得到响应
    GetResponse response = client.get(request, RequestOptions.DEFAULT);
    // 3.解析响应结果
    String json = response.getSourceAsString();
 
    HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
    System.out.println(hotelDoc);
}

4.4.修改文档

修改我们讲过两种方式：

全量修改：本质是先根据id删除，再新增
增量修改：修改文档中的指定字段值

代码如下

 @Test
void testUpdateDocument() throws IOException {
    // 1.准备Request
    UpdateRequest request = new UpdateRequest("hotel", "61083");
    // 2.准备请求参数
    request.doc(
        "price", "952",
        "starName", "四钻"
    );
    // 3.发送请求
    client.update(request, RequestOptions.DEFAULT);
}

4.5.批量导入文档

批量处理BulkRequest，其本质就是将多个普通的CRUD请求组合在一起发送。

其中提供了一个add方法，用来添加其他请求：

可以看到，能添加的请求包括：

IndexRequest，也就是新增
UpdateRequest，也就是修改
DeleteRequest，也就是删除

代码如下

 @Test
void testBulkRequest() throws IOException {
    // 批量查询酒店数据
    List<Hotel> hotels = hotelService.list();
 
    // 1.创建Request
    BulkRequest request = new BulkRequest();
    // 2.准备参数，添加多个新增的Request
    for (Hotel hotel : hotels) {
        // 2.1.转换为文档类型HotelDoc
        HotelDoc hotelDoc = new HotelDoc(hotel);
        // 2.2.创建新增文档的Request对象
        request.add(new IndexRequest("hotel")
                    .id(hotelDoc.getId().toString())
                    .source(JSON.toJSONString(hotelDoc), XContentType.JSON));
    }
    // 3.发送请求
    client.bulk(request, RequestOptions.DEFAULT);
}

4.6.小结

文档操作的基本步骤：

初始化RestHighLevelClient
创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
准备参数（Index、Update、Bulk时需要）
发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete、bulk
解析结果（Get时需要）

上一篇RabbitMQ

下一篇EasyExcel配置步骤

本文作者：七友的二度浪漫

本文链接：https://www.cnblogs.com/sy2022/p/16492138.html

posted @ 2022-07-18 21:53 你会很厉害的阅读(60) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

七友的二度浪漫

你会很厉害的，小老弟~

分布式搜索引擎--01

1.elasticsearch的作用

1.1.0.ELK技术栈

1.1.1elasticsearch和lucene

2.倒排索引

2.1.0.倒排索引

2.1.1.正向和倒排

3.索引库操作

3.1.mapping映射属性

3.2.索引库的CRUD

3.2.1.创建索引库和映射

3.2.2.创建索引库和映射

3.2.3.修改索引库

3.2.4.删除索引库

3.3.文档操作

3.3.1.新增文档

3.3.2.查询文档

3.3.3.删除文档

3.3.4.修改文档

4.RestAPI

4.1.新增文档

4.2.查询文档

4.3.删除文档

4.2.查询文档

4.4.修改文档

4.5.批量导入文档

4.6.小结

常用链接

合集

随笔分类

思维导图

推荐排行榜

	{
	"age": 21,
	"weight": 52.1,
	"isMarried": false,
	"info": "黑马程序员Java讲师",
	"email": "zy@itcast.cn",
	"score": [99.1, 99.5, 98.9],
	"name": {
	"firstName": "云",
	"lastName": "赵"
	}
	}

	PUT /索引库名称
	{
	"mappings": {
	"properties": {
	"字段名":{
	"type": "text",
	"analyzer": "ik_smart"
	},
	"字段名2":{
	"type": "keyword",
	"index": "false"
	},
	"字段名3":{
	"properties": {
	"子字段": {
	"type": "keyword"
	}
	}
	},
	// ...略
	}
	}
	}

	PUT /索引库名/_mapping
	{
	"properties": {
	"新字段名":{
	"type": "integer"
	}
	}
	}

	POST /索引库名/_doc/文档id
	{
	"字段1": "值1",
	"字段2": "值2",
	"字段3": {
	"子属性1": "值3",
	"子属性2": "值4"
	},
	// ...
	}

	PUT /{索引库名}/_doc/文档id
	{
	"字段1": "值1",
	"字段2": "值2",
	// ... 略
	}

	POST /{索引库名}/_update/文档id
	{
	"doc": {
	"字段名": "新的值",
	}
	}

	@Test
	void testAddDocument() throws IOException {
	// 1.根据id查询酒店数据
	Hotel hotel = hotelService.getById(61083L);
	// 2.转换为文档类型
	HotelDoc hotelDoc = new HotelDoc(hotel);
	// 3.将HotelDoc转json
	String json = JSON.toJSONString(hotelDoc);

	// 1.准备Request对象
	IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());
	// 2.准备Json文档
	request.source(json, XContentType.JSON);
	// 3.发送请求
	client.index(request, RequestOptions.DEFAULT);
	}

	@Test
	void testGetDocumentById() throws IOException {
	// 1.准备Request
	GetRequest request = new GetRequest("hotel", "61082");
	// 2.发送请求，得到响应
	GetResponse response = client.get(request, RequestOptions.DEFAULT);
	// 3.解析响应结果
	String json = response.getSourceAsString();

	HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
	System.out.println(hotelDoc);
	}

	@Test
	void testDeleteDocument() throws IOException {
	// 1.准备Request
	DeleteRequest request = new DeleteRequest("hotel", "61083");
	// 2.发送请求
	client.delete(request, RequestOptions.DEFAULT);
	}

	@Test
	void testUpdateDocument() throws IOException {
	// 1.准备Request
	UpdateRequest request = new UpdateRequest("hotel", "61083");
	// 2.准备请求参数
	request.doc(
	"price", "952",
	"starName", "四钻"
	);
	// 3.发送请求
	client.update(request, RequestOptions.DEFAULT);
	}

	@Test
	void testBulkRequest() throws IOException {
	// 批量查询酒店数据
	List<Hotel> hotels = hotelService.list();

	// 1.创建Request
	BulkRequest request = new BulkRequest();
	// 2.准备参数，添加多个新增的Request
	for (Hotel hotel : hotels) {
	// 2.1.转换为文档类型HotelDoc
	HotelDoc hotelDoc = new HotelDoc(hotel);
	// 2.2.创建新增文档的Request对象
	request.add(new IndexRequest("hotel")
	.id(hotelDoc.getId().toString())
	.source(JSON.toJSONString(hotelDoc), XContentType.JSON));
	}
	// 3.发送请求
	client.bulk(request, RequestOptions.DEFAULT);
	}