postgresql全文检索语法
第1章 全文检索语法
1.1 概述
查询引擎为文本数据类型提供~, ~*, LIKE和ILIKE操作符，并提供全文检索以识别自然语言文档，并通过相关性查询进行排序。查询引擎提供两种数据类型用于支持全文检索，即tsvector类型与tsquery类型。
1.2 文档(tsvector)类型
对于tsvector类型，表示一个检索单元，通常是一个数据库表中一行的文本字段，或者这些字段的可能组合（级联），也可能存储在多个表中或者动态地获得，它的值是一个无重复值的lexemes排序列表，即一些同一个词的不同变种的标准化，在输入的同时会自动排序和消除重复。to_tsvector函数通常用于解析和标准化文档字符串。
一个tsvector的值是唯一分词的分类列表，把一话一句词格式化为不同的词条，在进行分词处理的时候tsvector会自动去掉分词中重复的词条，按照一定的顺序装入。例如
SELECT 'a fat cat sat on a mat and atea fat rat'::tsvector;
tsvector
----------------------------------------------------
'a' 'and' 'ate' 'cat' 'fat' 'mat' 'on' 'rat''sat'
从上面的例子可以看出 ，通过tsvector把一个字符串按照空格进行分词，分词的顺序是按照长短和字母来排序的。但是某些时候，为了让词条中包含空格或者符号，就需要对其使用引号。
SELECT $$the lexeme ' ' contains spaces$$::tsvector;
tsvector
-------------------------------------------
' ''contains' 'lexeme' 'spaces' 'the'
为了使用引号，可以使用双$$符号来避免混淆。并且词条位置常量可以附属于每个词条,例如：
SELECT 'a:1 fat:2 cat:3 sat:4 on:5 a:6mat:7 and:8 ate:9 a:10 fat:11 rat:12'::tsvector;
tsvector
-------------------------------------------------------------------------------
'a':1,6,10 'and':8 'ate':9 'cat':3 'fat':2,11'mat':7 'on':5 'rat':12 'sat':4
理解tsvector类型是很重要的,不能只关注标准的应用.例如
select 'The Fat Rats'::tsvector;
tsvector
--------------------
'Fat' 'Rats' 'The'
但是对于英文全文检索应用来说,上面的句子就是非标准化的,但是tsvector是不会知道的,为处理加工的文本应该通过使用to_tsvector函数来是之规格化,标注化的应用于搜索.
SELECT to_tsvector('english', 'The Fat Rats');
to_tsvector
-----------------
'fat':2 'rat':3
1.3查询(tsquery)类型
对于tsquery类型，表示一个检索条件，存储用于检索的词汇，并且使用布尔操作符&(AND)，|(OR)和!(NOT) 来组合它们，括号用来强调操作符的分组。与tsvector一样，任何单词必须在转换为tsquery类型前规范化。to_tsquery函数及plainto_tsquery函数可以方便的用来执行规范化。
SELECT 'fat & rat'::tsquery;
tsquery
---------------
'fat' & 'rat'
SELECT 'fat & (rat | cat)'::tsquery;
tsquery
---------------------------
'fat' & ( 'rat' | 'cat' )
SELECT to_tsquery('english', 'fat & rat');
to_tsquery
---------------
'fat' & 'rat'
to_tsquery函数在处理查询文本的时候，查询文本的单个词之间要使用逻辑操作符（& (AND), | (OR) and ! (NOT)）连接（或者使用括号）。例如
SELECT to_tsquery('english', 'Fat Rats');
如果要使执行上面的操作，就会报语法错误。然而plainto_tsquery函数却可以提供一个标准的tsquery，如上面的例子，plainto_tsquery会自动加上逻辑&操作符。
SELECT plainto_tsquery('english','Fat Rats');
plainto_tsquery
-----------------
'fat' & 'rat'
但是plainto_tsquery函数不能够识别逻辑操作符和权重标记。
SELECTplainto_tsquery('english','The Fat & Rats:C');
plainto_tsquery
---------------------
'fat'& 'rat' & 'c'
1.4检索表
查询引擎的全文检索基于匹配算子@@，如果一个tsvector与一个tsquery匹配，则返回true。在不使用索引的情况下也是可以进行全文检索的,一个简单查询,显示出title从所有body字段中包含friend的每一行：
SELECT title
FROM web
WHERE to_tsvector('english', body) @@ to_tsquery('english','friend');
其中to_tsvector和to_tsquery中第一个参数用于指定全文检索的分词语言设置，一般可省略，语句如下：
SELECT title
FROM web
WHERE to_tsvector(body) @@ to_tsquery('friend');
1.5创建索引
gist 和 gin的索引类型，这两种索引都能用在提高全文检索的速度，注意全文检索不一定非要使用索引，但是当一个字段被固定规律搜索时，使用索引将会有很好的效果。创建gist 索引字段的类型可以是 tsvector 或者 tsquery。创建gin 索引字段的类型必须是tsvector
CREATE INDEX web_idx ON web USING gin(to_tsvector('english', body));
创建索引可以有多种方式.索引的创建甚至可以连接两个列:
CREATE INDEX web_idx ON web USING gin(to_tsvector('english', title ||body));
另外的一种方式是创建一个单独的 tsvector列,然后使用to_tsvector函数把需要索引字段的数据联合在一起，比如列title和body，并且使用函数coalesce来确保字段为NULL的可以建立索引。如下：
ALTER TABLE web ADD COLUMN textsearchable_index_col tsvector;
UPDATE web SET textsearchable_index_col =
to_tsvector('english', coalesce(title,'') ||coalesce(body,''));
然后，就可以创建倒排的索引
CREATE INDEX textsearch_idx ON web USING gin(textsearchable_index_col);
索引创建完毕，就可以使用全文检索了。
SELECT title
FROM web
WHERE textsearchable_index_col @@ to_tsquery('create& table')
ORDER BY last_mod_date DESC LIMIT 10;
1.6权重匹配(Weight)
提供一个函数setweight，使用这个函数要引入一个概念，这个概念就是权重weight，什么是权重，字面上解释就是权衡一下哪个更重要，也就是说哪个更侧重一些。可以通过函数setweight来设置权重，switf提供了四个权重级别A，B，C，D，级别类型用来标记他们来自于文档中的不同部分，例如title和body。查询结果的关注度可以使用这个权重级别。如：
UPDATE tt SET ti =
setweight(to_tsvector(coalesce(title,'')), 'A') ||
setweight(to_tsvector(coalesce(keyword,'')), 'B') ||
setweight(to_tsvector(coalesce(abstract,'')), 'C') ||
setweight(to_tsvector(coalesce(body,'')), 'D');
在搜索中tsquery中可以使用权重（weight）,在搜索词条中附加权重，查询的结果就是在这个权重范围的了。
SELECT to_tsquery('english', 'Fat | Rats:AB');
to_tsquery
------------------
'fat' | 'rat':AB
1.7相关(Ranking)查询
相关度试图衡量哪一个文档是检索中最关注的，所以当有很多匹配时，最相关的一个则最先显示。查询引擎提供了两个预定义的相关函数（ts_rank和rs_rank_cd），考虑了查询词在文档中出现的频率，术语在文档中的紧密程度，以及它们在文档中的部分的重要性。
这两个函数的语法是
ts_rank([ weights float4[], ] vectortsvector, query tsquery [, normalization integer ]) returns float4
ts_rank_cd([ weights float4[], ] vectortsvector, query tsquery [, normalization integer ]) returns float4
两个函数的第一个参数都是 权重(weight)，在前面已经讲了权重的概念。
参数的格式为 {D-weight, C-weight, B-weight, A-weight} ，在使用函数的时候没有指定这个参数，默认指定参数为：{0.1, 0.2, 0.4, 1.0}
vector tsvector表示分词的位置
query tsquery 表示查询关键词的位置
因为一个长文档有更大的几率包含检索的关键词，我们认为一个包含100词的文档有5个关键词，比一个包含1000个词的文档有五个关键词更相关。所以这里用最后一个参数来表示文档长度对得分的影响，你可以指定一个或者多个例如（2|4）。这些参数的定义
0 (the default) ignores the documentlength
表示跟长度大小没有关系
1 divides the rank by 1 + the logarithmof the document length
表示参数 关注度（rank）除以 文档长度的对数+1
2 divides the rank by the documentlength
表示 关注度 除以 文档的长度
4 divides the rank by the mean harmonicdistance between extents (this is implemented only by ts_rank_cd)
表示 关注度 除以 文档长度的平均值，只能使用函数ts_rank_cd.
8 divides the rank by the number ofunique words in document
表示 关注度 除以 文档中 唯一分词的数量
16 divides the rank by 1 + thelogarithm of the number of unique words in document
表示关注度 除以 唯一分词数量的对数+1
32 divides the rank by itself + 1
表示 关注度 除以 本身+1
下面是返回得分最高的前10项的例子
SELECT title, ts_rank_cd(textsearch, query) AS rank
FROM apod, to_tsquery('neutrino|(dark & matter)') query
WHERE query @@ textsearch
ORDER BY rank DESC
LIMIT 10;
title | rank
-----------------------------------------------+----------
Neutrinos in the Sun | 3.1
The Sudbury NeutrinoDetector | 2.4
A MACHO View of Galactic DarkMatter | 2.01317
Hot Gas and Dark Matter | 1.91171
The Virgo Cluster: Hot Plasmaand Dark Matter | 1.90953
Rafting for SolarNeutrinos | 1.9
NGC 4650A: Strange Galaxy andDark Matter | 1.85774
Hot Gas and Dark Matter | 1.6123
Ice Fishing for CosmicNeutrinos | 1.6
Weak Lensing Distorts theUniverse | 0.818218
这是相同的例子使用规范化的排名
SELECT title,ts_rank_cd(textsearch, query, 32 /* rank/(rank+1) */ ) AS rank
FROM apod,to_tsquery('neutrino|(dark & matter)') query
WHERE query @@ textsearch
ORDER BY rank DESC
LIMIT 10;
title | rank
-----------------------------------------------+-------------------
Neutrinos in the Sun | 0.756097569485493
The Sudbury Neutrino Detector | 0.705882361190954
A MACHO View of Galactic Dark Matter | 0.668123210574724
Hot Gas and Dark Matter | 0.65655958650282
The Virgo Cluster: Hot Plasma and Dark Matter| 0.656301290640973
Rafting for Solar Neutrinos | 0.655172410958162
NGC 4650A: Strange Galaxy and Dark Matter | 0.650072921219637
Hot Gas and Dark Matter | 0.617195790024749
Ice Fishing for Cosmic Neutrinos | 0.615384618911517
Weak Lensing Distorts the Universe | 0.450010798361481
1.8索引统计函数
ts_stat(sqlquery text,[ weights text, ] OUT word text, OUT ndoc integer, OUT nentry integer)
返回的是统计的纪录
word text — 索引中的词条
ndoc integer — 词条在索引中出现的次数
nentry integer — 词条在文档中出现的总次数
例如：
SELECT * FROMts_stat('SELECT tsv FROM messages')
ORDER BY nentry DESC,ndoc DESC, word
LIMIT 10;
查询的结果为
word ndoc nentry
test 2 3
title 2 2
test 1 2
body 1 1
上面可以看到，通过ts_stat函数就可以看到索引列中的分词的情况。
1.9 屏蔽词(Stop Words)
stop words 是一个很普遍并且在每个文档中几乎都能出现的的词，并且这个词没有实际的意义，因此在全文检索的文档中这些词将被忽略。例如英文文本内容中单词 像 a 和like，他们不需要存储在索引中，但是他会影响词所在文档的位置。
SELECT to_tsvector('english','in the list of stopwords');
to_tsvector
----------------------------
'list':3'stop':5 'word':6
并且相关度的计算与是否存在stopwords是十分不同的,如:
SELECT ts_rank_cd (to_tsvector('english','in thelist of stop words'), to_tsquery('list & stop'));
ts_rank_cd
------------
0.05
SELECT ts_rank_cd (to_tsvector('english','list stopwords'), to_tsquery('list & stop'));
ts_rank_cd
------------
0.1
