1-Elasticsearch - term suggester
在建议器简介部分,我们已经对term suggest
建议器有所了解。
词条建议器接收输入的文本,对其进行分析并且分为词条,然后为每个词条提供一系列的建议。
准备数据:
PUT s2
{
"mappings": {
"doc": {
"properties": {
"title": {
"type": "text",
"analyzer": "standard"
}
}
}
}
}
PUT s2/doc/1
{
"title": "Lucene is cool"
}
PUT s2/doc/2
{
"title": "Elasticsearch builds on top of lucene"
}
PUT s2/doc/3
{
"title": "Elasticsearch rocks"
}
PUT s2/doc/4
{
"title": "Elastic is the company behind ELK stack"
}
PUT s2/doc/5
{
"title": "elk rocks"
}
PUT s2/doc/6
{
"title": "elasticsearch is rock solid"
}
我们创建一个新的索引并且添加了几条文档。现在,我们来查询一下吧。
GET s2/doc/_search
{
"suggest": {
"my_suggest": {
"text": "luenc",
"term": {
"field": "title"
}
}
}
}
返回的了建议结果:
{
"took" : 3,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 0,
"max_score" : 0.0,
"hits" : [ ]
},
"suggest" : {
"my_suggest" : [
{
"text" : "luenc",
"offset" : 0,
"length" : 5,
"options" : [
{
"text" : "lucene",
"score" : 0.6,
"freq" : 2
}
]
}
]
}
}
上例中,在options
字段中,建议结果是lucene
。我们来看看,在建议器中,都有哪些字段。
- text:建议文本,建议文本是必需的选项,可以通过全局(多个建议器中查询相同的内容)或者按照单个建议器的格式来。
- field:从field字段中获取候选建议的字段。这是一个必需的选项,需要全局设置或根据建议设置。
- analyzer:用于分析建议文本的分析器。默认为建议字段的搜索分析器。
- size:个建议文本标记返回的最大条目。
- sort:定义如何根据建议文本术语对建议进行排序。它有两个可能的值。
- score,先按分数排序,然后按文档频率排序,再按术语本身排序。
- frequency,首先按文档频率排序,然后按相似性分数排序,然后按术语本身排序。也可以理解为按照流行度排序。
- suggest_mode:控制建议的模式,有3个模式可选择。
- missing,仅为不在索引中的建议文本术语提供建议。这是默认值。
- popular,仅建议在比原始建议文本术语更多的文档中出现的建议。也就是说提供比原有输入词频更高的词条
- always,根据建议文本中的条款建议任何匹配的建议。说白了就是无论如何都会提供建议。
- lowercase_terms:在文本分析之后降低建议文本术语的大小写。
- min_word_length:建议文本术语必须具有的最小长度才能包含在内。默认为4.(旧名称
min_word_len
已弃用)。 - shard_size:设置从每个单独分片中检索的最大建议数。在减少阶段,仅根据size选项返回前N个建议。默认为该 size选项。将此值设置为高于该值的值size可能非常有用,以便以性能为代价获得更准确的拼写更正文档频率。由于术语在分片之间被划分,因此拼写校正频率的分片级文档可能不准确。增加这些将使这些文档频率更精确。
- max_inspections:用于乘以的因子, shards_size以便在碎片级别上检查更多候选拼写更正。可以以性能为代价提高准确性。默认为5。
- string_distance:用于比较类似建议术语的字符串距离实现。
- internal,默认值基于damerau_levenshtein,但高度优化用于比较索引中术语的字符串距离。
- damerau_levenshtein,基于Damerau-Levenshtein算法的字符串距离算法。
- levenshtein,基于Levenshtein编辑距离算法的字符串距离算法。
- jaro_winkler,基于Jaro-Winkler算法的字符串距离算法。
- ngram,基于字符n-gram的字符串距离算法。
选择哪些词条被建议
了解了各字段的大致含义,我们来探讨一下,词条建议器是如何运作的。以便理解如何确定哪些建议将成为第一名。
词条建议器使用了Lucene的错拼检查器模块,该模块会根据给定词条的编辑距离(es使用了叫做Levenstein edit distance的算法,其核心思想就是一个词改动多少字符就可以和另外一个词一致),从索引中返回最大编辑距离不超过某个值的那些词条。比如说为了从mik
得到mick
,需要加入一个字母(也就是说需要至少要改动一次),所以这两个词的编辑距离就是1。我们可以通过配置一系列的选项,来均衡灵活和性能:
- max_edits:最大编辑距离候选建议可以具有以便被视为建议。只能是介于1和2之间的值。任何其他值都会导致抛出错误的请求错误。默认为2。
- prefix_length:必须匹配的最小前缀字符的数量才是候选建议。默认为1.增加此数字可提高拼写检查性能。通常拼写错误不会出现在术语的开头。(旧名
prefix_len
已弃用)。 - min_doc_freq:建议应出现的文档数量的最小阈值。可以指定为绝对数字或文档数量的相对百分比。这可以仅通过建议高频项来提高质量。默认为0f且未启用。如果指定的值大于1,则该数字不能是小数。分片级文档频率用于此选项。
- max_term_freq:建议文本令牌可以存在的文档数量的最大阈值,以便包括在内。可以是表示文档频率的相对百分比数(例如0.4)或绝对数。如果指定的值大于1,则不能指定小数。默认为0.01f。这可用于排除高频术语的拼写检查。高频术语通常拼写正确,这也提高了拼写检查的性能。分片级文档频率用于此选项。
小结,term suggester
首先将输入文本经过分析器(所以,分析结果由于采用的分析器不同而有所不同)分析,处理为单个词条,然后根据单个词条去提供建议,并不会考虑多个词条之间的关系。然后将每个词条的建议结果(有或没有)封装到options
列表中。最后由建议器统一返回。
欢迎斧正,that's all,see also:
Elasticsearch Suggester详解 | Elasticsearch官网:Suggesters | ElasticSearch suggester | Elasticsearch官网:suggesters-term