Elasticsearch概述
Elasticsearch是什么
The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。 能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据
全文搜索引擎
Google，百度类的网站搜索，它们都是根据网页中的关键字生成索引，我们在搜索的时候输入关键字，它们会将该关键字即索引匹配到的所有网页返回；还有常见的项目中应用日志的搜索等等。对于这些非结构化的数据文本，关系型数据库搜索不是能很好的支持。
一般传统数据库，全文检索都实现的很鸡肋，因为一般也没人用数据库存文本字段。进行全文检索需要扫描整个表，如果数据量大的话即使对 SQL 的语法优化，也收效甚微。建立了索引，但是维护起来也很麻烦，对于 insert 和 update 操作都会重新构建索引。
基于以上原因可以分析得出，在一些生产环境中，使用常规的搜索方式，性能是非常差的：
- 搜索的数据对象是大量的非结构化的文本数据
- 文件记录量达到数十万或数百万个甚至更多
- 支持大量基于交互式文本的查询。
- 需求非常灵活的全文搜索查询。
- 对高度相关的搜索结果的有特殊需求，但是没有可用的关系数据库可以满足
- 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况。 为了解决结构化数据搜索和非结构化数据搜索性能问题，我们就需要专业，健壮，强大的全文搜索引擎
Elasticsearch And Solr
Lucene 是 Apache 软件基金会 Jakarta 项目组的一个子项目，提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在 Java 开发环境里 Lucene 是一个成熟的免费开源 工具。就其本身而言，Lucene 是当前以及最近几年最受欢迎的免费 Java 信息检索程序库。 但 Lucene 只是一个提供全文搜索功能类库的核心工具包，而真正使用它还需要一个完善的 服务框架搭建起来进行应用。
目前市面上流行的搜索引擎软件，主流的就两款:Elasticsearch 和 Solr,这两款都是基 于 Lucene 搭建的，可以独立部署启动的搜索引擎服务软件。由于内核相同，所以两者除了 服务器安装、部署、管理、集群以外，对于数据的操作 修改、添加、保存、查询等等都十 分类似。
在使用过程中，一般都会将 Elasticsearch 和 Solr 这两个软件对比，然后进行选型。这两 个搜索引擎都是流行的，先进的的开源搜索引擎。它们都是围绕核心底层搜索库 Lucene 构建的，但它们又是不同的。像所有东西一样，每个都有其优点和缺点:
无论选择 Solr 还是 Elasticsearch，首先需要了解正确的用例和未来需求。总结一下Elasticsearch的特点：
- 由于易于使用，Elasticsearch 在新开发者中更受欢迎。一个下载和一个命令就可以启动一切
- 如果除了搜索文本之外还需要它来处理分析查询，Elasticsearch 是更好的选择
- 如果需要分布式索引，则需要选择 Elasticsearch。对于需要良好可伸缩性和以及性能分布式环境，Elasticsearch 是更好的选择
- Elasticsearch 在开源日志管理用例中占据主导地位，许多组织在 Elasticsearch 中索引它们的日志以使其可搜索
- 如果你喜欢监控和指标，那么请使用 Elasticsearch，因为相对于 Solr，Elasticsearch 暴露了更多的关键指标
Elasticsearch 安装
Elasticsearch 的官方地址：https://www.elastic.co/cn/
目录结构如下：
| 目录 | 含义 |
|---|---|
| bin | 可执行脚本目录 |
| config | 配置目录 |
| jdk | 内置 JDK 目录 |
| lib | 类库 |
| logs | 日志目录 |
| modules | 模块目录 |
| plugins | 插件目录 |
进入bin目录，启动elasticsearch即可启动服务
[2021-04-13T13:19:55,134][INFO ][o.e.n.Node ] [B-LW01J1WL-0028.local] initialized
[2021-04-13T13:19:55,134][INFO ][o.e.n.Node ] [B-LW01J1WL-0028.local] starting ...
[2021-04-13T13:19:55,193][INFO ][o.e.x.s.c.PersistentCache] [B-LW01J1WL-0028.local] persistent cache index loaded
[2021-04-13T13:20:00,475][INFO ][o.e.t.TransportService ] [B-LW01J1WL-0028.local] publish_address {127.0.0.1:9300}, bound_addresses {[::1]:9300}, {127.0.0.1:9300}
[2021-04-13T13:20:00,821][WARN ][o.e.b.BootstrapChecks ] [B-LW01J1WL-0028.local] the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
[2021-04-13T13:20:00,835][INFO ][o.e.c.c.ClusterBootstrapService] [B-LW01J1WL-0028.local] no discovery configuration found, will perform best-effort cluster bootstrapping after [3s] unless existing master is discovered
[2021-04-13T13:20:03,845][INFO ][o.e.c.c.Coordinator ] [B-LW01J1WL-0028.local] setting initial configuration to VotingConfiguration{havNlIPpSIKsyb4mq42F3Q}
[2021-04-13T13:20:04,170][INFO ][o.e.c.s.MasterService ] [B-LW01J1WL-0028.local] elected-as-master ([1] nodes joined)[{B-LW01J1WL-0028.local}{havNlIPpSIKsyb4mq42F3Q}{GWO-_Ju0TgKDaXcELngWqw}{127.0.0.1}{127.0.0.1:9300}{cdfhilmrstw}{ml.machine_memory=8589934592, xpack.installed=true, transform.node=true, ml.max_open_jobs=20, ml.max_jvm_size=4294967296} elect leader, _BECOME_MASTER_TASK_, _FINISH_ELECTION_], term: 1, version: 1, delta: master node changed {previous [], current [{B-LW01J1WL-0028.local}{havNlIPpSIKsyb4mq42F3Q}{GWO-_Ju0TgKDaXcELngWqw}{127.0.0.1}{127.0.0.1:9300}{cdfhilmrstw}{ml.machine_memory=8589934592, xpack.installed=true, transform.node=true, ml.max_open_jobs=20, ml.max_jvm_size=4294967296}]}
[2021-04-13T13:20:04,256][INFO ][o.e.c.c.CoordinationState] [B-LW01J1WL-0028.local] cluster UUID set to [8s0OS-nhQHazoUw6adHJEw]
[2021-04-13T13:20:04,324][INFO ][o.e.c.s.ClusterApplierService] [B-LW01J1WL-0028.local] master node changed {previous [], current [{B-LW01J1WL-0028.local}{havNlIPpSIKsyb4mq42F3Q}{GWO-_Ju0TgKDaXcELngWqw}{127.0.0.1}{127.0.0.1:9300}{cdfhilmrstw}{ml.machine_memory=8589934592, xpack.installed=true, transform.node=true, ml.max_open_jobs=20, ml.max_jvm_size=4294967296}]}, term: 1, version: 1, reason: Publication{term=1, version=1}
[2021-04-13T13:20:04,431][INFO ][o.e.h.AbstractHttpServerTransport] [B-LW01J1WL-0028.local] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}
[2021-04-13T13:20:04,434][INFO ][o.e.n.Node ] [B-LW01J1WL-0028.local] started
9300端口为 Elasticsearch 集群间组件的通信端口，9200 端口为浏览器访问的 http 协议 RESTful 端口
// 访问服务
huanliu@B-LW01J1WL-0028 ~ % curl http://127.0.0.1:9200
{
"name" : "B-LW01J1WL-0028.local",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "8s0OS-nhQHazoUw6adHJEw",
"version" : {
"number" : "7.12.0",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "78722783c38caa25a70982b5b042074cde5d3b3a",
"build_date" : "2021-03-18T06:17:15.410153305Z",
"build_snapshot" : false,
"lucene_version" : "8.8.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
数据格式
Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档。为了方便理解，我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比：ES 里的 Index 可以看做一个库，而 Types 相当于表，Documents 则相当于表的行。这里 Types 的概念已经被逐渐弱化，Elasticsearch 6.X 中，一个 index 下已经只能包含一个type，Elasticsearch 7.X 中, Type的概念已经被删除了
Elasticsearch 基本操作
索引操作
// 创建索引，对比关系型数据库，创建索引就等同于创建数据库
PUT请求：http://127.0.0.1:9200/shopping
{
"acknowledged"【响应结果】: true, # true操作成功
"shards_acknowledged"【分片结果】: true, # 分片操作成功
"index"【索引名称】: "shopping"
}
// 如果重复添加索引，会返回错误信息
{
"error": {
"root_cause": [
{
"type": "resource_already_exists_exception",
"reason": "index [shopping/5upLIUrhTGWX6lWTG6BQBg] already exists",
"index_uuid": "5upLIUrhTGWX6lWTG6BQBg",
"index": "shopping"
}
],
"type": "resource_already_exists_exception",
// 索引已存在
"reason": "index [shopping/5upLIUrhTGWX6lWTG6BQBg] already exists",
"index_uuid": "5upLIUrhTGWX6lWTG6BQBg",
"index": "shopping"
},
"status": 400
}
// 查看所有索引
GET请求：http://127.0.0.1:9200/_cat/indices?v
/**
* 这里请求路径中的_cat 表示查看的意思，indices 表示索引，所以整体含义就是查看当前 ES 服务器中的所有索引，就好像 MySQL 中的 show tables 的感觉，服务器响应结果如下
* health：当前服务器健康状态: green(集群完整) yellow(单点正常、集群不完整) red(单点不正常)
* status：索引打开、关闭状态
* index：索引名
* uuid：索引统一编号
* pri：主分片数量
* rep：副本数量
* docs.count：可用文档数量
* docs.deleted：文档删除状态(逻辑删除)
* store.size：主分片和副分片整体占空间大小
* pri.store.size：主分片占空间大小
*/
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open shopping 5upLIUrhTGWX6lWTG6BQBg 1 1 0 0 208b 208b
// 查看单个索引
GET请求：http://127.0.0.1:9200/shopping
{
// 索引名
"shopping": {
// 别名
"aliases": {},
// 映射
"mappings": {},
// 设置
"settings": {
// 索引
"index": {
"routing": {
"allocation": {
"include": {
"_tier_preference": "data_content"
}
}
},
// 主分片数据量
"number_of_shards": "1",
// 索引名称
"provided_name": "shopping",
// 创建时间
"creation_date": "1618294231972",
// 副分片数量
"number_of_replicas": "1",
// 唯一标识
"uuid": "5upLIUrhTGWX6lWTG6BQBg",
// 版本
"version": {
"created": "7120099"
}
}
}
}
}
// 删除索引
DELETE请求：http://127.0.0.1:9200/shopping
{
"acknowledged": true
}
// 重复请求会报错
{
"error": {
"root_cause": [
{
"type": "index_not_found_exception",
"reason": "no such index [shopping]",
"resource.type": "index_or_alias",
"resource.id": "shopping",
"index_uuid": "_na_",
"index": "shopping"
}
],
"type": "index_not_found_exception",
"reason": "no such index [shopping]",
"resource.type": "index_or_alias",
"resource.id": "shopping",
"index_uuid": "_na_",
"index": "shopping"
},
"status": 404
}
文档操作
// 创建文档，索引已经创建好了，接下来我们来创建文档，并添加数据。这里的文档可以类比为关系型数 据库中的表数据，添加的数据格式为 JSON 格式
POST 请求 :http://127.0.0.1:9200/shopping/_doc
请求体：
// 这里数据创建后，由于没有指定数据唯一性标识(ID)，默认情况下，ES 服务器会随机 生成一个。 如果想要自定义唯一性标识，需要在创建时指定:http://127.0.0.1:9200/shopping/_doc/1
{
"title":"小米手机",
"category":"小米",
"image":"https://www.xiaomi.com/1.jpg",
"price":1999
}
{
// 索引
"_index": "shopping",
// 类型-文档
"_type": "_doc",
// 唯一标识，可以类比为MySQL中的主键，随机生成
"_id": "6GbxyXgBsiazCaso13gh",
// 版本
"_version": 1,
// 结果，这里的create表示创建成功
"result": "created",
// 分片
"_shards": {
// 总数
"total": 2,
// 成功
"successful": 1,
// 失败
"failed": 0
},
"_seq_no": 0,
"_primary_term": 1
}
// 查看文档
GET请求：http://127.0.0.1:9200/shopping/_doc/6GbxyXgBsiazCaso13gh
{
// 索引
"_index": "shopping",
// 文档类型
"_type": "_doc",
"_id": "6GbxyXgBsiazCaso13gh",
"_version": 1,
"_seq_no": 0,
"_primary_term": 1,
// 查询结果：true表示查找到，false表示未查找到
"found": true,
// 文档源信息
"_source": {
"title": "小米手机",
"category": "小米",
"image": "https://www.xiaomi.com/1.jpg",
"price": 1999
}
}
// 修改文档
和新增文档一样，输入相同的 URL 地址请求，如果请求体变化，会将原有的数据内容覆盖
POST 请求 :http://127.0.0.1:9200/shopping/_doc/6GbxyXgBsiazCaso13gh
请求体内容为
{
"title": "华为手机",
"category": "华为",
"image": "https://www.huawei.com/1.jpg",
"price": 2999
}
{
"_index": "shopping",
"_type": "_doc",
"_id": "6GbxyXgBsiazCaso13gh",
// 版本
"_version": 2,
// 结果，updated表示数据被更新
"result": "updated",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 1,
"_primary_term": 1
}
// 修改字段，修改数据时，也可以只修改某一给条数据的局部信息
POST 请求 :http://127.0.0.1:9200/shopping/_update/6GbxyXgBsiazCaso13gh
{
"doc": {
"price":3000.00
}
}
{
"_index": "shopping",
"_type": "_doc",
"_id": "6GbxyXgBsiazCaso13gh",
"_version": 3,
"result": "updated",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 2,
"_primary_term": 1
}
// 删除文档，删除一个文档不会立即从磁盘上移除，它只是被标记成已删除(逻辑删除)。
DELETE 请求 :http://127.0.0.1:9200/shopping/_doc/6GbxyXgBsiazCaso13gh
{
"_index": "shopping",
"_type": "_doc",
"_id": "1",
//#对数据的操作，都会更新版本
"_version" : 4,
// deleted表示数据被标记为删除
"result"【结果】: "deleted",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 4,
"_primary_term": 2
}
// 条件删除文档：一般删除数据都是根据文档的唯一性标识进行删除，实际操作时，也可以根据条件对多条数据进行删除
POST 请求 :http://127.0.0.1:9200/shopping/_delete_by_query
请求体内容为:
{
"query":{
"match":{
"price":4000.00
}
}
}
{
// 耗时
"took": 175,
// 是否超时
"timed_out": false,
// 总数
"total": 2,
// 删除数量
"deleted": 2,
"batches": 1,
"version_conflicts": 0,
"noops": 0,
"retries": {
"bulk": 0,
"search": 0
},
"throttled_millis": 0,
"requests_per_second": -1.0,
"throttled_until_millis": 0,
"failures": []
}
映射操作
有了索引库，等于有了数据库中的 database。接下来就需要建索引库(index)中的映射了，类似于数据库(database)中的表结构(table)。 创建数据库表需要设置字段名称，类型，长度，约束等;索引库也一样，需要知道这个类型下有哪些字段，每个字段有哪些约束信息，这就叫做映射(mapping)。
// 创建映射
PUT 请求 :http://127.0.0.1:9200/student/_mapping
//
// 映射说明：
// 字段名:任意填写，下面指定许多属性，例如:title、subtitle、images、price
// type:类型，Elasticsearch中支持的数据类型非常丰富，说几个关键的:
// String 类型，又分两种:
// text:可分词
// keyword:不可分词，数据会作为完整字段进行匹配
// Numerical:数值类型，分两类
// 基本数据类型:long、integer、short、byte、double、float、half_float
// 浮点数的高精度类型:scaled_float
// Date:日期类型
// Array:数组类型
// Object:对象
// index:是否索引，默认为true，也就是说你不进行任何配置，所有字段都会被索引。
// true:字段会被索引，则可以用来进行搜索
// false:字段不会被索引，不能用来搜索
// store:是否将数据进行独立存储，默认为 false。原始的文本会存储在_source 里面，默认情况下其他提取出来的字段都不是独立存储 的，是从_source 里面提取出来的。当然你也可以独立的存储某个字段，只要设置 "store": true 即可，获取独立存储的字段要比从_source 中解析快得多，但是也会占用 更多的空间，所以要根据实际业务需求来设置。
// analyzer:分词器，这里的 ik_max_word 即使用 ik 分词器
{
"properties": {
"name":{
"type": "text",
"index": true
},
"sex":{
"type": "text",
"index": false
},
"age":{
"type": "long",
"index": false
}
}
}
// 查看映射
GET 请求 :http://127.0.0.1:9200/student/_mapping
{
"student": {
"mappings": {
"properties": {
"age": {
"type": "long",
"index": false
},
"name": {
"type": "text"
},
"sex": {
"type": "text",
"index": false
}
}
}
}
}
// 索引映射关联
PUT 请求 :http://127.0.0.1:9200/student1
请求体：
{
"settings": {},
"mappings": {
"properties": {
"name": {
"type": "text",
"index": true
},
"sex": {
"type": "text",
"index": false
},
"age": {
"type": "long",
"index": false
}
}
}
}
