Elasticsearch之映射

映射基础

索引创建之后,等于有了关系型数据库中的database,es7.x取消了索引type类型的设置,不允许指定类型,默认为_doc,但字段仍然是有的,我们需要设置字段的约束信息,叫做字段映射(mapping)

字段的约束包括但不限于:

  1. 字段的数据类型
  2. 是否要存储
  3. 是否要索引
  4. 分词器

我们一起来看下创建的语法。

5.1 创建映射字段 

1.创建映射字段

PUT /索引库名/_mapping

{

"properties": {

"字段名": {

"type": "类型",

"index": true,

"store": true,

"analyzer": "分词器"

}  }  }

https://www.elastic.co/guide/en/elasticsearch/reference/7.3/mapping-params.html

字段名:任意填写,下面指定许多属性,例如:

type:类型,可以是text、long、short、date、integer、object等

index:是否索引,默认为true

store:是否存储,默认为false

analyzer:指定分词器

5.2 映射属性详解 

5.2.1 type(数据类型)

ES中支持的数据类型非常丰富:

https://www.elastic.co/guide/en/elasticsearch/reference/7.3/mapping-types.html

其中几个关键的类型

  1. String类型,又分为两种:

     * text: 可分词,不可参与聚合

     * keyword:  不可分词,数据会作为完整的字段进行比配,可以参与聚合

  1. Numerical: 数值类型,分两类

* 基本数据类型: long,interger,short, double, float, half_float

* 浮点数的高精度类型: scaled_float

   需要指定一个精度因子,比如10或者100,ES会把真实值乘以这银因子后存储,取出时再返原

  1. Date:  日期类型

   ES可以对日期格式化为字符串存储,但是建议我们存储为毫秒值,存储为long,节省空间

  1. Array:数组类型

进行匹配时,任意一个元素满足,都认为满足

排序时,如果升序则用数组中的最小值来排序,如果降序则用数组中的最大值来排序

  1. Object:对象

 

如果存储到索引库的是对象类型,例如上面的girl,会把girl变成两个字段:girl.name和girl.age

5.2.2 index(索引)

index影响字段的索引情况。

true:字段会被索引,则可以用来进行搜索。默认值就是true

false:字段不会被索引,不能用来搜索

index的默认值就是true,也就是说你不进行任何配置,所有字段都会被索引。

但是有些字段是我们不希望被索引的,比如企业的logo图片地址,就需要手动设置index为false。

5.2.3 store(是否独立存储)

是否将数据进行独立存储。

原始的文本会存储在 _source 里面,默认情况下其他提取出来的字段都不是独立存储的,是从

_source 里面提取出来的。当然你也可以独立的存储某个字段,只要设置store:true即可,获取独立存

储的字段要比从_source中解析快得多,但是也会占用更多的空间,所以要根据实际业务需求来设置,

默认为false。

5.2.4 analyzer(分词器)

4)analyzer:指定分词器

一般我们处理中文会选择ik分词器 ik_max_word, ik_smart_word

5.3 查看映射关系

5.3.1 查看单个索引映射关系

语法: GET /索引名称/_mapping

5.3.2 查看所有索引映射关系

方式一

GET _mapping

方式二

GET _all/_mapping

5.3.3 修改索引映射关系

注意:修改映射增加字段 做其它更改只能删除索引 重新建立映射

PUT /索引库名/_mapping {

"properties": {

"字段名": {

"type": "类型",

"index": true,

"store": true,

"analyzer": "分词器" } } }

4.一次性创建索引和映射

刚才 的案例中我们是把创建索引库和映射分开来做,其实也可以在创建索引库的同时,直接制定索引库中的索引,基本语法:

put /索引库名称

{

"settings":{

"索引库属性名":"索引库属性值"

},

"mappings":{

"properties":{

"字段名":{

"映射属性名":"映射属性值"  } } } }

案例:

PUT /lagou-employee-index

{

"settings": {},

"mappings": {

"properties": {

"name": {

"type": "text",

"analyzer": "ik_max_word"  } } } }

映射深入

1.1 地理坐标点数据类型

1.1.1 地理坐标点

地理坐标点是指地球表面可以用经纬度描述的一个点。 地理坐标点可以用来计算两个坐标间的距离,还可以判断一个坐标是否在一个区域中。地理坐标点需要显式声明对应字段类型为 geo_point :

1.1.2 经纬度坐标格式

如上例, location 字段被声明为 geo_point 后,我们就可以索引包含了经纬度信息的文档了。 经纬度信息的形式可以是字符串、数组或者对象

 #  增加地址坐标点

 GET  /company-locations/_mapping    //查看映射关系

增加经纬度

 # 字符串形式

PUT /company-locations/_doc/1

             {      "name":"NetEase",

 "location":"40.715,74.011"   }

# 对象形式

PUT /company-locations/_doc/2

{          "name":"Sina",

"location":{

"lat":40.722,

"lon":73.989  }}

# 数组形式

PUT /company-locations/_doc/3

{   "name":"Baidu",

"location":[73.983,40.719]  }

注意

字符串形式以半角逗号分割,如 "lat,lon"

对象形式显式命名为 lat 和 lon

数组形式表示为 [lon,lat]

通过地理坐标点过滤 有四种地理坐标点相关的过滤器 可以用来选中或者排除文档

过滤器

作用

geo_bounding_box

找出落在指定矩形框中的点

geo_distance

找出与指定位置在给定距离内的点

geo_distance_range

找出与指定点距离在给定最小距离和最大距离之间的点

geo_polygon

找出落在多边形中的点。 这个过滤器使用代价很大 。当你觉得自己需要使用它,最好先看看 geo-shapes

 

1.1.3 geo_bounding_box查询

这是目前为止最有效的地理坐标过滤器了,因为它计算起来非常简单。 你指定一个矩形的顶部 ,底部 , 左边界和右边界,然后过滤器只需判断坐标的经度是否在左右边界之间,纬度是否在上下边界之间

location这些坐标也可以用 bottom_left 和 top_right 来表示

1.1.4 geo_distance

过滤仅包含与地理位置相距特定距离内的匹配的文档。假设以下映射和索引文档然后可以使用 geo_distance 过滤器执行以下查询

GET /company-locations/_search

{      "query": {

    "bool": {

"must": {

"match_all": {}  },

"filter": {

"geo_distance": {

"distance": "200km",

"location": {

"lat": 40,

"lon": 70

} } } } } }

1.2 动态映射

Elasticsearch在遇到文档中以前未遇到的字段,可以使用dynamic mapping(动态映射机制)来确定字段的数据类型并自动把新的字段添加到类型映射。

Elastic的动态映射机制可以进行开关控制,通过设置mappings的dynamic属性,dynamic有如下设置项

true:遇到陌生字段就执行dynamic mapping处理机制

false:遇到陌生字段就忽略

strict:遇到陌生字段就报错

PUT /user

{   "settings": {

"number_of_shards": 3,   "number_of_replicas": 0   },

"mappings": {    "dynamic": "strict",    "properties": {

"name": {    "type": "text"   },

"address": {    "type": "object",  "dynamic": true  } } }    }

# 插入以下文档,将会报错

# user索引层设置dynamic是strict,在user层内设置age将报错

# 在address层设置dynamic是ture,将动态映射生成字段

PUT /user/_doc/1

    {    "name": "lisi", "age": "20",  "address": {

                                      "province": "beijing",

                                      "city": "beijing"     }   }

PUT /user

{    "settings": {

            "number_of_shards": 3, "number_of_replicas": 0    },

"mappings": {   "dynamic": true,

           "properties": {

           "name": {

      "type": "text"  },

           "address": {

      "type": "object",

      "dynamic": true   }  } }    }

1.3 自定义动态映射

如果你想在运动时增加新的字段,你可能会启用动态映射,然而有时候动态映射规则可能不太智能,幸运的是,我们可以通过设置去自定义这些规则,以便更好的适用于你的数据

Elasticsearch 遇到一个新的字符串字段时,它会检测这个字段是否包含一个可识别的日期,比如 2014-01-01 如果它像日期,这个字段就会被作为 date 类型添加。否则,它会被作为 string 类型添加。 有些时候这个行为可能导致一些问题。想象下,你有如下这样的一个文档:

{ "note": "2014-01-01" }

假设这是第一次识别 note 字段,它会被添加为 date 字段。但是如果下一个文档像这样:

{ "note": "Logged out" }

这显然不是一个日期,但为时已晚。这个字段已经是一个日期类型,这个 不合法的日期 将会造成一个 异常。

日期检测可以通过在根对象上设置 date_detection 为 false 来关闭

 PUT /my_index/_doc/1

{ "note": "2014-01-01" }

 PUT /my_index/_doc/1

{ "note": "Logged out" }

PUT /my_index

{     "mappings": {

"date_detection": false  }  }

使用这个映射,字符串将始终作为 string 类型。如果需要一个 date 字段,必须手动添加。

Elasticsearch 判断字符串为日期的规则可以通过 dynamic_date_formats setting 来设置

1.3.1 dynamic_templates(控制新生成字段的映射)

使用 dynamic_templates 可以完全控制新生成字段的映射,甚至可以通过字段名称或数据类型来应用不同的映射。每个模板都有一个名称,你可以用来描述这个模板的用途,一个 mapping 来指定映射应该怎样使用,以及至少一个参数 (如 match) 来定义这个模板适用于哪个字段。

模板按照顺序来检测;第一个匹配的模板会被启用。例如,我们给 string 类型字段定义两个模板:

es :以 _es 结尾的字段名需要使用 spanish 分词器。

en :所有其他字段使用 english 分词器。

我们将 es 模板放在第一位,因为它比匹配所有字符串字段的 en 模板更特殊:

PUT / my_index2

{    "mappings": {

"dynamic_templates": [{

"es": {

"match": "*_es",

"match_mapping_type": "string",

"mapping": {

"type": "text",

"analyzer": "spanish"

} }   },  {   

 "en": {

"match": "*",

"match_mapping_type": "string",

"mapping": {

"type": "text",

"analyzer": "english"

} } } ]  }   }

PUT /my_index2/_doc/1

{    "name_es":"testes",

"name":"es"   }

1)匹配字段名以 _es 结尾的字段

2)匹配其他所有字符串类型字段

match_mapping_type:允许你应用模板到特定类型的字段上,就像有标准动态映射规则检测的一样(例如string或 long)

match参数只匹配字段名称,path_match 参数匹配字段在对象上的完整路径,所以 address.*.name将匹配这样的字段

posted @ 2023-04-13 14:28  心愿路自平  阅读(98)  评论(0编辑  收藏  举报