ElasticSearch 5学习(9)——映射和分析（string类型废弃）

在ElasticSearch中，存入文档的内容类似于传统数据每个字段一样，都会有一个指定的属性，为了能够把日期字段处理成日期，把数字字段处理成数字，把字符串字段处理成字符串值，Elasticsearch需要知道每个字段里面都包含了什么类型。这些类型和字段的信息存储（包含）在映射（mapping）中。

核心简单字段类型

Elasticsearch支持以下简单字段类型：

  • String：string（弃用）, text, keyword（ElasticSearch 5.0开始支持，先以string介绍，后面再介绍新类型）
  • Whole number：byte, short, integer, long
  • Floating-point：float, double
  • Boolean：boolean
  • Date：date

当你索引一个包含新字段的文档——一个之前没有的字段——Elasticsearch将使用动态映射猜测字段类型，这类型来自于JSON的基本数据类型，使用以下规则：

注意：这意味着，如果你索引一个带引号的数字——"123"，它将被映射为"string"类型，而不是"long"类型。然而，如果字段已经被映射为"long"类型，Elasticsearch将尝试转换字符串为long，并在转换失败时会抛出异常。

查看映射

我们可以使用_mapping后缀来查看Elasticsearch中的映射。在本章开始我们已经找到索引blogs类型dc中的映射：

GET /blogs/_mapping/doc

这展示给了我们字段的映射（叫做属性(properties)），这些映射是Elasticsearch在创建索引时动态生成的：

上面的结果是在Elasticsearch 5.0.2上运行的，我们先不用在意text属性的具体内容，只需要知道字符串被自动的映射成text属性，而在Elasticsearch 5之前的版本中应该是string。

确切值vs全文

可能在数据库中的习惯，只需要确定每个字段的类型即可，但是在Elasticsearch中每种字段的都有不同的索引处理方式。

Elasticsearch为对字段类型进行猜测，动态生成了字段和类型的映射关系。返回的信息显示了date字段被识别为date类型。_all因为是默认字段所以没有在此显示，不过我们知道它是string（text）类型。Elasticsearch对每一种核心数据类型(string, number, boolean及date)以不同的方式进行索引。

但是更大的区别在于确切值(exact values)(比如string类型)及全文文本(full text)之间。这两者的区别才真的很重要 - 这是区分搜索引擎和其他数据库的根本差异。

Elasticsearch中的数据可以大致分为两种类型：

确切值 及 全文文本。

确切值：是确定的，正如它的名字一样。比如一个date或用户ID，也可以包含更多的字符串比如username或email地址。

确切值"Foo"和"foo"就并不相同。确切值2014和2014-09-15也不相同。

全文文本：从另一个角度来说是文本化的数据(常常以人类的语言书写)，比如一篇推文(Twitter的文章)或邮件正文。

确切值是很容易查询的，因为结果是二进制的 -- 要么匹配，要么不匹配。下面的查询很容易以SQL表达：

WHERE name    = "John Smith"
  AND user_id = 2
  AND date    > "2014-09-15"

而对于全文数据的查询来说，却有些微妙。我们不会去询问这篇文档是否匹配查询要求？。但是，我们会询问这篇文档和查询的匹配程度如何？。换句话说，对于查询条件，这篇文档的_相关性_有多高？

我们很少确切的匹配整个全文文本。我们想在全文中查询包含查询文本的部分。不仅如此，我们还期望搜索引擎能理解我们的意图：（由此引出了Elasticsearch提供了很好的相关性查询，并以匹配度排序。）

  • 一个针对"UK"的查询将返回涉及"United Kingdom"的文档
  • 一个针对"jump"的查询同时能够匹配"jumped"， "jumps"， "jumping"甚至"leap"
  • "johnny walker"也能匹配"Johnnie Walker"， "johnnie depp"及"Johnny Depp"
  • "fox news hunting"能返回有关hunting on Fox News的故事，而"fox hunting news"也能返回关于fox hunting的新闻故事。

为了方便在全文文本字段中进行这些类型的查询，Elasticsearch首先对文本分析(analyzes)，然后使用结果建立一个倒排索引。

倒排索引

Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。

例如，我们有两个文档，每个文档content字段包含：

  1. The quick brown fox jumped over the lazy dog
  2. Quick brown foxes leap over lazy dogs in summer

为了创建倒排索引，我们首先切分每个文档的content字段为单独的单词（我们把它们叫做词(terms)或者表征(tokens)），把所有的唯一词放入列表并排序，结果是这个样子的：

现在，如果我们想搜索"quick brown"，我们只需要找到每个词在哪个文档中出现即可：

两个文档都匹配，但是第一个比第二个有更多的匹配项。 如果我们加入简单的相似度算法(similarity algorithm)，计算匹配单词的数目，这样我们就可以说第一个文档比第二个匹配度更高——对于我们的查询具有更多相关性。

但是在我们的倒排索引中还有些问题：

  1. "Quick"和"quick"被认为是不同的单词，但是用户可能认为它们是相同的。
  2. "fox"和"foxes"很相似，就像"dog"和"dogs"——它们都是同根词。
  3. "jumped"和"leap"不是同根词，但意思相似——它们是同义词。

上面的索引中，搜索"+Quick +fox"不会匹配任何文档（记住，前缀+表示单词必须匹配到）。只有"Quick"和"fox"都在同一文档中才可以匹配查询，但是第一个文档包含"quick fox"且第二个文档包含"Quick foxes"。（就是单复数和同义词没法匹配，必须完全匹配。）

用户可以合理地希望两个文档都能匹配查询，我们也可以做得更好。如果我们将词为统一为标准格式，这样就可以找到不是确切匹配查询，但是足以相似从而可以关联的文档。例如：

  1. "Quick"可以转为小写成为"quick"。
  2. "foxes"可以被转为根形式"fox"。同理"dogs"可以被转为"dog"。
  3. "jumped"和"leap"同义就可以只索引为单个词"jump"

现在的索引：

但我们还未成功。我们的搜索"+Quick +fox"依旧失败，因为"Quick"的确切值已经不在索引里，不过，如果我们使用相同的标准化规则处理查询字符串的content字段，查询将变成"+quick +fox"，这样就可以匹配到两个文档。

重要：我们只可以找到确实存在于索引中的词，所以索引文本和查询字符串都要标准化为相同的形式。而这个标记化和标准化的过程叫做分词(analysis)。

分析和分析器

分析(analysis)是这样一个过程：

  • 首先，标记化一个文本块为适用于倒排索引单独的词(term)。
  • 然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率”。

这个工作是分析器(analyzer)完成的。一个分析器(analyzer)包含三个功能：

字符过滤器

首先字符串经过字符过滤器(character filter)，它们的工作是在标记化前处理字符串。字符过滤器能够去除HTML标记，或者转换"&"为"and"。

分词器

下一步，分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空格或逗号将单词分开（这个在中文中不适用）。

标记过滤

最后，每个词都通过所有标记过滤(token filters)，它可以修改词（例如将"Quick"转为小写），去掉词（例如停用词像"a"、"and"、"the"等等），或者增加词（例如同义词像"jump"和"leap"）。

Elasticsearch提供很多开箱即用的字符过滤器，分词器和标记过滤器。这些可以组合来创建自定义的分析器以应对不同的需求。

内建的分析器

不过，Elasticsearch还附带了一些预装的分析器，你可以直接使用它们。下面我们列出了最重要的几个分析器，来演示这个字符串分词后的表现差异：

"Set the shape to semi-transparent by calling set_trans(5)"
标准分析器

标准分析器是Elasticsearch默认使用的分析器。对于文本分析，它对于任何语言都是最佳选择（没特殊需求，对于任何一个国家的语言，这个分析器就够用了）。它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本，然后去掉大部分标点符号。最后，把所有词转为小写。产生的结果为：

set, the, shape, to, semi, transparent, by, calling, set_trans, 5

Unicode：是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

简单分析器

简单分析器将非单个字母的文本切分，然后把每个词转为小写。产生的结果为：

set, the, shape, to, semi, transparent, by, calling, set, trans
空格分析器

空格分析器依据空格切分文本。它不转换小写。产生结果为：

Set, the, shape, to, semi-transparent, by, calling, set_trans(5)
语言分析器

特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如，english分析器自带一套英语停用词库——像and或the这些与语义无关的通用词。这些词被移除后，因为语法规则的存在，提取出词根，英语单词的主体含义依旧能被理解。
english分析器将会产生以下结果：

set, shape, semi, transpar, call, set_tran, 5

测试分析器

对于如何分词以及存储到索引中理解起来比较困难。为了更好的理解如何进行，可以使用analyze API来查看文本是如何被分析的。在查询字符串参数中指定要使用的分析器，被分析的文本做为请求体：

GET /_analyze?analyzer=standard&text=Text to analyze

结果中每个节点在代表一个词：

{
   "tokens": [
      {
         "token":        "text",
         "start_offset": 0,
         "end_offset":   4,
         "type":         "<ALPHANUM>",
         "position":     1
      },
      {
         "token":        "to",
         "start_offset": 5,
         "end_offset":   7,
         "type":         "<ALPHANUM>",
         "position":     2
      },
      {
         "token":        "analyze",
         "start_offset": 8,
         "end_offset":   15,
         "type":         "<ALPHANUM>",
         "position":     3
      }
   ]
}

token是一个实际被存储在索引中的词。position指明词在原文本中是第几个出现的。start_offset和end_offset表示词在原文本中占据的位置。

当分析器被使用

当我们索引(index)一个文档，全文字段会被分析为单独的词来创建倒排索引。不过，当我们在全文字段搜索(search)时，我们要让查询字符串经过同样的分析流程处理，以确保这些词在索引中存在。

  • 当你查询全文(full text)字段(被分析过的文本)，查询将使用相同的分析器来分析查询字符串，以产生正确的词列表。
  • 当你查询一个确切值(exact value)字段，查询将不分析查询字符串，但是你可以自己指定。

典型的例子

在索引中有12个tweets，只有一个包含日期2014-09-15，但是我们看看下面查询中的结果total。

GET /_search?q=2014              # 12 个结果
GET /_search?q=2014-09-15        # 还是 12 个结果 !
GET /_search?q=date:2014-09-15   # 1  一个结果
GET /_search?q=date:2014         # 0  个结果 !

为什么全日期的查询返回所有的tweets，而针对date字段进行年度查询却什么都不返回？ 为什么我们的结果因查询_all字段(默认所有字段中进行查询)或date字段而变得不同？（如果看不懂简单查询，可以查看ElasticSearch 5学习(4)——简单搜索笔记）。

让我们看看Elasticsearch在对gb索引中的tweet类型进行mapping。

注意：还是一样的，如果是Elasticsearch 5.0之前版本的text将会是string类型。

现在我们来看为什么会产生这样的结果：

  • date字段包含一个确切值：单独的一个词"2014-09-15"。
  • _all字段是一个全文字段，所以分析过程将日期转为三个词："2014"、"09"和"15"。

当我们在_all字段查询2014，它一个匹配到12条推文，因为这些推文都包含词2014。

当我们在_all字段中查询2014-09-15，首先分析查询字符串，产生匹配任一词2014、09或15的查询语句，它依旧匹配12个推文，因为它们都包含词2014。

当我们在date字段中查询2014-09-15，它查询一个确切的日期，然后只找到一条推文。

当我们在date字段中查询2014，没有找到文档，因为没有文档包含那个确切的日期。

指定分析器

当Elasticsearch在你的文档中探测到一个新的字符串字段，它将自动设置它为全文string（弃用）字段并用standard分析器分析。

你不可能总是想要这样做。也许你想使用一个更适合这个数据的语言分析器。或者，你只想把字符串字段当作一个普通的字段——不做任何分析，只存储确切值，就像字符串类型的用户ID或者内部状态字段或者标签。

为了达到这种效果，我们必须通过映射(mapping)人工设置这些字段。

自定义字段映射

虽然大多数情况下基本数据类型已经能够满足，但你也会经常需要自定义一些特殊类型（fields），特别是字符串字段类型。 自定义类型可以使你完成一下几点：

  • 区分全文（full text）字符串字段和准确字符串字段（译者注：就是分词与不分词，全文的一般要分词，准确的就不需要分词，比如『中国』这个词。全文会分成『中』和『国』，但作为一个国家标识的时候我们是不需要分词的，所以它就应该是一个准确的字符串字段）。
  • 使用特定语言的分析器（例如中文、英文、阿拉伯语，不同文字的断字、断词方式的差异）
  • 优化部分匹配字段
  • 等等

映射中最重要的字段参数是type。除了string（弃用）类型的字段，你可能很少需要映射其他的type（因为一般情况下，Elasticsearch自动帮我们映射的类型都能满足我们需求）：

{
    "number_of_clicks": {
        "type": "integer"
    }
}

string（弃用）类型的字段，默认的，考虑到包含全文本，它们的值在索引前要经过分析器分析，并且在全文搜索此字段前要把查询语句做分析处理。
对于string（弃用）字段，两个最重要的映射参数是index和analyer。

index

index参数控制字符串以何种方式被索引。它包含以下三个值当中的一个：

analyzed：首先分析这个字符串，然后索引。换言之，以全文形式索引此字段。

not_analyzed：索引这个字段，使之可以被搜索，但是索引内容和指定值一样。不分析此字段。

no：不索引这个字段。这个字段不能为搜索到。

string类型字段默认值是analyzed。如果我们想映射字段为确切值，我们需要设置它为not_analyzed：

{
    "tag": {
        "type":     "string",
        "index":    "not_analyzed"
    }
}

注意：其他简单类型（long、double、date等等）也接受index参数，但相应的值只能是no和not_analyzed，它们的值不能被分析。

analyer

对于analyzed类型的字符串字段，使用analyzer参数来指定哪一种分析器将在搜索和索引的时候使用。默认的，Elasticsearch使用standard分析器，但是你可以通过指定一个内建的分析器来更改它，例如whitespace、simple或english。

{
    "tweet": {
        "type":     "string",
        "analyzer": "english"
    }
}

更新映射

你可以在第一次创建索引的时候指定映射的类型。此外，你也可以晚些时候为新类型添加映射（或者为已有的类型更新映射）。

重要：你可以向已有映射中增加字段，但你不能修改它。如果一个字段在映射中已经存在，这可能意味着那个字段的数据已经被索引。如果你改变了字段映射，那已经被索引的数据将错误并且不能被正确的搜索到。

我们可以更新一个映射来增加一个新字段，但是不能把已有字段的类型那个从analyzed改到not_analyzed。

为了演示两个指定的映射方法，让我们首先删除索引gb：

DELETE /gb

然后创建一个新索引，指定tweet字段的分析器为english：

PUT /gb
{
  "mappings": {
    "tweet" : {
      "properties" : {
        "tweet" : {
          "type" :    "string",
          "analyzer": "english"
        },
        "date" : {
          "type" :   "date"
        },
        "name" : {
          "type" :   "string"
        },
        "user_id" : {
          "type" :   "long"
        }
      }
    }
  }
}

再后来，我们决定在tweet的映射中增加一个新的not_analyzed类型的文本字段，叫做tag，使用_mapping后缀:

PUT /gb/_mapping/tweet
{
  "properties" : {
    "tag" : {
      "type" :    "string",
      "index":    "not_analyzed"
    }
  }
}

注意到我们不再需要列出所有的已经存在的字段，因为我们没法修改他们。我们的新字段已经被合并至存在的那个映射中。

测试映射

你可以通过名字使用analyze API测试字符串字段的映射。对比这两个请求的输出：

GET /gb/_analyze?field=tweet&text=Black-cats
GET /gb/_analyze?field=tag&text=Black-cats

tweet字段产生两个词，"black"和"cat"，tag字段产生单独的一个词"Black-cats"。换言之，我们的映射工作正常。

Elasticsearch 5.0及之前

前面很多次提到string在Elasticsearch 5.0开始被废弃，取而代之的是text和keyword两种类型，是不是很奇怪？不过如果你已经理解前面string的两种处理方式（全文和精确值），你就很快可以理解：

  • text：类似于全文形式，包括被分析。
  • keyword：属于字符串类型的精确搜索。

除了将string分成两个类型处理，其他主要的设置和使用基本相同，具体可以查看https://www.elastic.co/guide/en/elasticsearch/reference/5.0/string.html

转载请注明出处。
作者：wuxiwei
出处：http://www.cnblogs.com/wxw16/p/6195284.html

posted @ 2016-12-18 19:34  wuxiwei  阅读(7880)  评论(0)  编辑  收藏  举报