Elasticsearch template学习

Elasticsearch template

  • Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定,最常见的问题就是,某个字段我们并不希望ES对其进行分词,但如果使用自动模板创建索引,那么默认是所有string类型的字段都会被分词的,因此必须要显式指定字段的not_analyzed属性,其它的比如控制索引的备份数,分片数等,也可以通过模板的套用来实现,并且模板可以通过通配符进行模糊匹配,即可对满足某一通配符的所有新建索引均套用统一模板,不需要为每个索引都建立模板。但也有一点局限性需要注意:模板在设置生效后,仅对ES集群中新建立的索引生效,而对已存在的索引及时索引名满足模板的匹配规则,也不会生效,因此如果需要改变现有索引的mapping信息,仍需要在正确的mapping基础上建立新的索引,并将数据从原索引拷贝至新索引,变更新索引别名为原索引这种方式来实现(改方法适用当前ES版本(1.7+~2.4+)),也许未来会有索引的直接迁移方案。

  • 参考文章:

相关api的使用

  • 创建
curl -XPUT localhost:9200/_template/template_1 -d
    "template" "te*",
    "order":1  //就是 elasticsearch 在创建一个索引的时候,如果发现这个索引同时匹配上了多个 template ,那么就会先应用 order 数值小的 template 设置,然后再应用一遍 order 数值高的作为覆盖,最终达到一个 merge 的效果 
    "settings" : { 
        "number_of_shards" : 1 
    }, 
    "mappings" : { 
        "type1" : { 
            "_source" : {"enabled" false 
        
    
}
  • 删除模板
curl -XDELETE localhost:9200/_template/template_1
  • 查看定义的模板
curl -XGET localhost:9200/_template/template_1
  • 注:大家也可以使用一些es的管理工具去添加修改查看template

一些重要的字段

  • _source:_source字段是自动生成的,以JSON格式存储索引文件。_source字段没有建索引,所以不可搜索。当执行“get”或者“search”操作时,默认会返回_source字段。_source字段消耗性能,所以可以屏蔽disable掉。enabale:false的情况下,默认检索只返回ID。例如:"_source":{"enabled":false}

  • _all:主要指的是All Field字段,我们可以将一个或都多个包含进去,在进行检索时无需指定字段的情况下检索多个字段。前提是你得开启All Field字段 “_all” : {“enabled” : true}。好处是你可以在_all里搜索那些你不在乎在哪个字段找到的东西。另一面是在创建索引和增大索引大小的时候会使用额外更多的CPU。所以如果你不用这个特性的话,关掉它。即使你用,最好也考虑一下定义清楚限定哪些字段包含进_all里。

  • "index":"analyzed":

    1) analyzed -- 使用分词器将域值分解成独立的语汇单元流,并使每个语汇单元能被搜到,适用于普通文本域(如正文、标题、摘要等),通常需要设置“index_analyzer
    2) not_analyzed -- 对域进行索引,但不对String值进行分析,实际上将域值作为 单一语汇单元并使之能本搜索,适用于不能被分解的域值,如URL、文件路径、日期、电话等。
    3) no -- 使用对应的域值不被搜索

  • "null_value":"none":为空添加的默认值

  • store:域存储选项store,用来确定是否需要存储域的真实值,以便后续搜集时能恢复这个值

    1. yes -- 指定存储域值。该情况下,原始的字符串全部被保存在索引中,并可以由IndexReader类恢复。该选项对于需要展示搜索结果的一些域很有用(如URL、标题等)。如果索引的大小在搜索程序考虑之列的话,不要存储太大的域值,因为这些域值会消耗掉索引的存储空间
    2. no -- 指定不存储域值。该选项通常跟Index.ANALYZED选项共同用来索引大的文本域值,这些域值不用恢复初始格式,如文本正文
  • omit_norms:norms记录了索引中index-time boost信息,但是当你进行搜索时可能会比较耗费内存。omit_norms = true则是忽略掉域加权信息,这样在搜索的时候就不会处理索引时刻的加权信息了

一个nginx-ccess日志解析后写的template

{
  "order": 1,
  "template""logstash-app-trace-*",
  "settings": {
    "index": {
      "number_of_shards""3",
      "number_of_replicas""1",
      "refresh_interval""5s"
    }
  },
  "mappings": {
    "_default_": {
      "properties": {
        "request": {
          "index""not_analyzed",
          "type""string"
        },
        "span_name": {
          "index""not_analyzed",
          "type""string"
        },
        "body_bytes_sent": {
          "type""integer"
        },
        "type": {
          "index""not_analyzed",
          "type""string"
        },
        "http_user_agent": {
          "index""not_analyzed",
          "type""string"
        },
        "uid": {
          "index""not_analyzed",
          "type""string"
        },
        "protocol": {
          "index""not_analyzed",
          "type""string"
        },
        "request_time": {
          "type""long"
        },
        "node_type": {
          "index""not_analyzed",
          "type""string"
        },
        "pspan_id": {
          "index""not_analyzed",
          "type""string"
        },
        "remote_addr": {
          "index""not_analyzed",
          "type""string"
        },
        "trace_id": {
          "index""not_analyzed",
          "type""string"
        },
        "device_id": {
          "index""not_analyzed",
          "type""string"
        },
        "span_id": {
          "index""not_analyzed",
          "type""string"
        },
        "time_local": {
          "index""not_analyzed",
          "type""string"
        },
        "params": {
          "index""not_analyzed",
          "type""string"
        },
        "server_addr": {
          "index""not_analyzed",
          "type""string"
        },
        "url": {
          "index""not_analyzed",
          "type""string"
        },
        "request_body": {
          "index""not_analyzed",
          "type""string"
        },
        "http_referer": {
          "index""not_analyzed",
          "type""string"
        },
        "http_x_forwarded_for": {
          "index""not_analyzed",
          "type""string"
        },
        "upstream_response_time": {
          "type""integer"
        },
        "response_time": {
          "type""long"
        },
        "http_status": {
          "type""integer"
        },
        "result_code": {
          "index""not_analyzed",
          "type""string"
        },
        "status": {
          "type""integer"
        },
        "node_id": {
          "index""not_analyzed",
          "type""string"
        }
      },
      "_all": {
        "enabled"false
      }
    }
  },
  "aliases": {
    "app-trace-template": {}
  }
}
posted @ 2019-07-04 16:36  dream_fly_info  阅读(2707)  评论(0编辑  收藏  举报