Elasticsearch学习-索引操作及Mapping映射
堆内存:大小和交换 | Elasticsearch: 权威指南 | Elastic
不要超过 32 GB！
这里有另外一个原因不分配大内存给 Elasticsearch。事实上， JVM 在内存小于 32 GB 的时候会采用一个内存对象指针压缩技术。
在 Java 中，所有的对象都分配在堆上，并通过一个指针进行引用。 普通对象指针（OOP）指向这些对象，通常为 CPU 字长 的大小：32 位或 64 位，取决于你的处理器。指针引用的就是这个 OOP 值的字节位置。
对于 32 位的系统，意味着堆内存大小最大为 4 GB。对于 64 位的系统， 可以使用更大的内存，但是 64 位的指针意味着更大的浪费，因为你的指针本身大了。更糟糕的是， 更大的指针在主内存和各级缓存（例如 LLC，L1 等）之间移动数据的时候，会占用更多的带宽。
Java 使用一个叫作 内存指针压缩（compressed oops）的技术来解决这个问题。 它的指针不再表示对象在内存中的精确位置，而是表示 偏移量 。这意味着 32 位的指针可以引用 40 亿个 对象 ， 而不是 40 亿个字节。最终， 也就是说堆内存增长到 32 GB 的物理内存，也可以用 32 位的指针表示。
一旦你越过那个神奇的 ~32 GB 的边界，指针就会切回普通对象的指针。 每个对象的指针都变长了，就会使用更多的 CPU 内存带宽，也就是说你实际上失去了更多的内存。事实上，当内存到达 40–50 GB 的时候，有效内存才相当于使用内存对象指针压缩技术时候的 32 GB 内存。
这段描述的意思就是说：即便你有足够的内存，也尽量不要 超过 32 GB。因为它浪费了内存，降低了 CPU 的性能，还要让 GC 应对大内存。
遗憾的是，这需要看情况。确切的划分要根据 JVMs 和操作系统而定。 如果你想保证其安全可靠，设置堆内存为 31 GB 是一个安全的选择。 另外，你可以在你的 JVM 设置里添加 -XX:+PrintFlagsFinal 用来验证 JVM 的临界值， 并且检查 UseCompressedOops 的值是否为 true。对于你自己使用的 JVM 和操作系统，这将找到最合适的堆内存临界值。
例如，我们在一台安装 Java 1.7 的 MacOSX 上测试，可以看到指针压缩在被禁用之前，最大堆内存大约是在 32600 mb（~31.83 gb）：
一、名词解释
1）索引
在7.X版本前类似于关系型数据库中的数据库概念，8.X版本后删除了type概念，索引类似于关系型数据库中的表
2）文档
相当于关系型数据库中的一条数据，最小单元
3）节点
每一个节点就是一个ES实例（一个java进程），一个节点 != 一台服务器
4）集群
多个节点组成分布式系统，ES原生分布式，已启动一个ES进程，再启动一个进程，这个进程会自动发现集群并进入，前提条件是所有节点配置一套集群信息
5）分片
一个索引包含一个多个分片，7.0之前默认五个主分片，每个主分片一个副本，在7.0之后默认一个主分片，副本可以在索引创建之后修改数量，但是主分片的数量一旦确定不可修改。每个分片都是一个Lucene实例，有完成的创建索引和处理请求的能力ES会自动在节点上做分片均衡，每个主分片和其副本分片不能同时存在于同一个节点上。
二、索引CRUD
1）创建索引
PUT /indexName?pretty
2）查询操作
# 查询索引信息
GET _cat/indices?v
# 查询所有数据
GET /indexName/_search
# 查询第一条数据
GET /indecName/_doc/1
3）删除操作
# 删除索引
DELETE /indexName?pretty
#删除数据
DELETE /indexName/_doc/id
4) 插入数据
#插入数据 指定id
PUT /indexName/_doc/id
{
Json数据
}
# 示例
PUT /product/_doc/1
{
"name":"手机",
"price"："1399"，
"desc":["美观","小巧"]
}
5）修改数据
1. 同插入数据，全量替换
2. 指定字段更新（两种格式均可）
POST /indexName/_doc/1 _update
{
"doc":{
"fieldName":""
}
}
POST /indexName/_update/id
{
"doc":{
"fieldName":""
}
}
3.按条件删除数据
POST /indexName/_doc/_delete_by_query
{
"query": {
"term": {
"fieldName": "11"
}
}
}
三、Mapping映射
定义文档及其包含字段的存储和索引信息，类似“表结构” 概念
包含属性：字段名称、类型、字段使用的分词器、是否评分、是否创建索引等
1）查看mapping
GET /indexName/_mappings
2) ES数据类型
常见数据类型
1. 数字类型
long integer short byte double float half_float scaled_float unsigned_long
2. keywords
keyword：适用于索引结构化的字段，只能精确值搜索，可以用于过滤、排序、聚合
constant_keyword：始终包含相同值的关键字字段
wildcard: 可针对类似grep的通配符查询优化日志行等类似的关键字值
3. 时间类型 Dates ：包括 date和date_nanos
4. alias 定义别名
5. binary 二进制
6. range 区间类型 integer_range、float_range、long_range、double_range、date_range
7. text 类型
设置text类型以后，字段内容会被分析，在生成倒排索引（默认）以前，字符串会被分析器分成一个一个词项，text类型的字段不用于排序，很少用于聚合
对象关系类型
1. object : 用于单个JSON对象
2. nested: 用于JSON对象数组
3. flattened: 允许将整个JSON对象索引为单个字段
结构化类型
1. geo-point：纬度/经度积分
2. geo-shape：用于多边形等复杂形状
3. point：笛卡尔坐标点
4. shape：笛卡尔任意几何图形
特殊类型(常用)
1. IP地址：ip 用于IPv4和IPv6地址
2. completion 提供自动完成建议
数组 array
在Elasticsearch中，数组不需要专用的字段数据类型。默认情况下，任何字段都可以包含零个或多个值，但是，数组中的所有值都必须具有相同的数据类型
3）映射类型
动态 自动映射
PUT /product_mapping/_doc/1
{
"name": "手机",
"desc": "插入数据 直接自动映射",
"count": 100,
"price": 1999.9,
"date": "2022-12-7",
"isdel": true,
"tags": [
"xiaoqiao",
"fashion"
]
}
静态 手动映射
# 案例
PUT /product
{
"mappings": {
"properties": {
"date": {
"type": "text"
},
"desc": {
"type": "text",
"analyzer": "english"
},
"name": {
"type": "text",
"index": "false"
},
"price": {
"type": "long"
},
"tags": {
"type": "text",
"index": "true"
},
"parts": {
"type": "object"
},
"partlist": {
"type": "nested"
}
}
}
}
常用映射参数
1. index： 是否对当前字段创建倒排索引，默认为true，若为false，该字段不会通过索引被搜索到，但是仍会在source元数据中展示
2. analyzer：指定分析器（character filter、tokenizer、Token filters）
3. doc_values：为了提升排序和聚合效率，默认true，如果确定不需要对字段进行排序或聚合，也不需要通过脚本访问字段值，则可以禁用doc值以节省磁盘空间（不支持text和annotated_text）
4. eager_global_ordinals：用于聚合的字段上，优化聚合性能
5. enable：是否创建倒排索引，可以对字段操作，也可以对索引操作
PUT my_index
{
"mappings":
{
"enabled": false
}
}
6. fielddata：查询时内存数据结构，在首次用当前字段聚合、排序或者在脚本中使用时，需要字段为fielddata数据结构，并且创建倒排索引保存到堆中
#每个tag产品的数量 "size":0, 不显示原始结果
GET /product/_search
{
"aggs": {
"tag_agg_group": {
"terms": {
"field": "tags"
}
}
},
"size":0
}
#将文本field的fielddata属性设置为true
PUT /product/_mapping
{
"properties": {
"tags": {
"type": "text",
"fielddata": true
}
}
}
7. fields：给field创建多字段，用于不同目的（全文检索或者聚合分析排序）
# 给product创建一个keyword
PUT fields_test
{
"mappings": {
"properties": {
"product": {
"type": "text",
"fields": {
"raw": {
"type": "keyword"
}
}
}
}
}
}
# 插入数据
PUT fields_test/_doc/1
{
"product": "New York"
}
# 查询数据
GET fields_test/_search
{
"query": {
"match": {
"product": "york"
}
},
"sort": {
"product.raw": "asc"
},
"aggs": {
"product": {
"terms": {
"field": "product.raw"
}
}
}
}
8. norms：是否禁用评分（在filter和聚合字段上应该禁用）
9. null_value：为null值设置默认值
10. search_analyzer：设置单独的查询时分析器
11. store：设置字段是否仅查询
12. format：格式化
"date": {
"type": "date",
"format": "yyyy-MM-dd"
}
13. copy_to 将多个字段的值复制到组字段中，然后可以将其作为单个字段进行查询
# mapping映射
PUT copy_to_test
{
"mappings": {
"properties": {
"field1": {
"type": "text",
"copy_to": "field_all"
},
"field2": {
"type": "text",
"copy_to": "field_all"
},
"field_all": {
"type": "text"
}
}
}
}
# 数据插入
PUT copy_to/_doc/1
{
"field1": "field1",
"field2": "field2"
}
# 查询 可匹配到数据
GET copy_to/_search
{
"query": {
"match": {
"field_all": {
"query": "field1 field2"
}
}
}
}
14. coerce：是否允许强制类型转换
# mapping映射
PUT coerce_test
{
"mappings": {
"properties": {
"number_one": {
"type": "integer"
},
"number_two": {
"type": "integer",
"coerce": false
}
}
}
}
# 插入数据
# 成功
PUT coerce_test/_doc/1
{
"number_one": "10"
}
#//失败，因为coerce设置了false
PUT coerce_test/_doc/2
{
"number_two": "10"
}
15. dynamic：控制是否可以动态添加新字段
true 新检测到的字段将添加到映射中（默认）
false 新检测到的字段将被忽略，这些字段将不会被索引，因此将无法搜索，但仍会出现在_source返回的匹配项中。这些字段不会添加到映射中，必须显式 添加新字段。
strict 如果检测到新字段，则会引发异常并拒绝文档，必须将新字段显式添加到映射中
PUT dynamic_test
{
"mappings": {
"dynamic": false,
"properties": {
"user": {
"properties": {
"date": {
"type": "text"
}
}
}
}
}
}
