ElasticSearch 2 (19) - 语言处理系列之故事开始
ElasticSearch 2 (19) - 语言处理系列之故事开始
摘要
全文搜索是精度（尽可能少的返回不相关文档）和召回（尽可能多的返回相关文档）的战场。尽管只精确匹配用户查询的词肯定会是精确的，但这并不够。我们可能会丢失许多被用户认为相关的文档，取而代之的是我们需要扩大撒网范围，去搜索那些与原始查询不完全相同但又相关的词。
版本
elasticsearch版本: elasticsearch-2.x
内容
全文搜索是精度（尽可能少的返回不相关文档）和召回（尽可能多的返回相关文档）的战场。尽管只精确匹配用户查询的词肯定会是精确的，但这并不够。我们可能会丢失许多被用户认为相关的文档，取而代之的是我们需要扩大撒网范围，去搜索那些与原始查询不完全相同但又相关的词。
难道我们不希望在搜索 “quick brown fox” 的时候，能匹配包含 “fast brown foxes” 的文档，搜索 “Johnny Walker” 可以匹配 “Johnnie Walker” ，搜索 “Arnolt Schwarzenneger” 可以匹配 “Arnold Schwarzenegger” ？
如果现存文档正好包含用户的查询，那么它们当然应该出现在结果集的顶部，而弱匹配的文档会随后出现。如果没有完全匹配的文档，我们至少可以为用户提供潜在匹配的可能，它们甚至可能是用户搜索的初衷。
以下有一些需要处理的事情：
-
移除如 ´、 ^ 和 ¨ 这样的变音符，那么搜索 rôle 会匹配 role ，反之亦然。参见 标记的规范化。
-
移除单复数形式间的差异（ fox 与 foxes ）或时态间的差异（ jumping 与 jumped 与 jumps ），可以通过词干提取法获得每个单词的词根形式。参见 词根提取。
-
移除经常使用的普通词或停用词，如：the 、 and 和 or ，以提高搜索效率。参见 停用词：性能与精度。
-
包括同义词使查询 quick 也能与 fast 匹配，UK 能与 United Kingdom 匹配。参见 同义词。
-
检查拼写错误或可选拼写形式，或同音异形词的匹配，如：their 与 there，meat 与 meet 与 mete。参见 打字或拼写错误。
在我们处理单个词语之前，需要将文本拆分成多个单词，也就是说我们需要了解词语的组成。这个问题会在 单词识别 章节中解决。
不过首先，我们还是来看看如何快速简便的开始对我们的语言进行处理。
