Sphinx全文检索

全文检索

一、生活中的数据总体分为:

结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。

非结构化数据:指没有固定格式或不定长的数据,如邮件,word文档等。

非结构化数据还有一种叫法:全文数据。

二、按数据的分类,搜索也分为两种:

对结构化数据的搜索:

如对数据库的搜索:SQL语句。

再如windows的搜索:文件名,类型,修改时间。

对非结构化数据的搜索:

如windows对文件内容的搜索。

Linux下得grep命令。

再如Google和百度可以搜素大量内容数据。

对于非结构化的数据搜索也叫做对全文数据的搜索。

三、对全文数据的搜索还可以分为两种

1、顺序扫描:如要找内容包含某个字符串的文件,会一个文档一个文档的从头到尾的找,如 Like查找 。

2、索引扫描:把非结构化的数据中的内容提取出来一部分重新组织,让它变的有结构化,这部分我们提取出来的数据就叫做索引.

全文检索大体分两个过程:

索引创建(Indexer)和 搜索索引(Search)。

索引创建:将现实世界中所有的结构化和非结构化数据提取信息,创建索引的过程。

搜索索引:就是得到用户的查询请求,搜索创建的索引,然后返回结果的过程。 

 

比如说,我们要寻找既包含字符串“Sphinx”又包含字符串“PHP”的文档,我们只需要以下几步:

1. 取出包含字符串“Sphinx”的文档链表.

2. 取出包含字符串“PHP”的文档链表.

3. 通过合并链表,找出既包含“Sphinx”又包含“PHP”的文件.

如何创建索引?

全文检索的索引创建过程一般有以下几步:

一些需要创建索引的文档(Documents)。

将原文档传给分词组件(Tokenizer) 。

将得到的词元(Token)传给语言处理组件(Linguistic Processor)。

将得到的词(Term)传给索引组件(Indexer)。

第一步:一些创建索引的文档

文档1:Students should be allowed to go out with their friends, but not allowed to drink beer.

文档2:My friend Jerry went to school to see his students but found them drunk which is not allowed.

第二步:将原文档传给分词组件

分词组件(Tokenizer)会做以下几件事情(此过程称为Tokenize):

1. 将文档分成一个一个单独的单词。

2. 去除标点符号。

3. 去除停词(Stop word)。

所谓停词(Stop word)就是一种语言中最普通的一些单词:

英语中的停词(Stop word)如:“the”,“a”,“this”等。

中文中的停词 如:‘是’‘的’‘这个’等。

对于每一种语言的分词组件(Tokenizer),都有一个停词(stop word)集合。

 

经过分词(Tokenizer)后得到的结果称为词元(Token)。

在我们的例子中,便得到以下词元(Token):

 Students、allowed、go、their、friends、allowed、drink、beer、My、friend、Jerry、went、school、see、his、students、found、them、drunk、allowed。

第三步:将得到的词元(Token)   传给语言处理组件

语言处理组件主要是对得到的词元做一些同语言相关的处理:

对于英语,语言处理组件一般做以下几点:

变为小写(Lowercase)。

2. 将单词缩减为词根形式,如“cars”到“car”等。

这种操作称为:stemming。

3. 将单词转变为词根形式,如“drove”到“drive”等。

这种操作称为:lemmatization。

 

语言处理组件的结果称为词

在我们的例子中,经过语言处理,得到的词(Term)如下:

Student、allow、go、their、friend、allow、drink、beer、my、friend、jerry、go、school、see、his、student、find、them、drink、allow。

也正是因为有语言处理的步骤,才能使搜索drove,而drive也能被搜索出来。

第四步:  将得到的词(Term)传给索引组件

索引组件(Indexer)主要做以下几件事情:

利用得到的词(Term)创建一个字典。

对字典按字母顺序进行排序。

3. 合并相同的词(Term)成为文档倒排(Posting List)链表

Document Frequenc     即文档频次

表示总共有多少

文件包含此词(Term)

Frequency 即词频率

表示此文件中

包含了几个此词(Term)

如何对索引进行搜索

搜索主要分为以下几步:

 

第一步:用户输入查询语句.

第二步:对查询语句进行词法分析,语法分析,及语言处理

第三步:搜索索引,得到符合语法树的文档.

第四步:根据得到的文档和查询语句的相关性,对结果进行排序.

什么是Sphinx

Sphinx 是SQL Phrase Index(查询词组索引)的缩写,Sphinx是一个基于SQL的全文检索引擎

Sphinx    全文检索引擎

Coreseek  支持中文的全文检索引擎

Sphinx 优缺点

优点:

高速的建立索引(在当代CPU上,可达到10 MB/秒);

高性能的搜索(在2 – 4GB 的文本数据上,平均每次检索响应时间小于0.1秒);

可处理海量数据(目前已知可以处理超过100 GB的文本数据, 在单一CPU的系统上可处理100 M 文档);

提供了优秀的相关度算法,基于短语相似度和统计BM2的复合Ranking方法;

支持分布式搜索;

提供文档片段(摘要以及高亮)生成功能;

可作为MySQL的存储引擎提供搜索服务;

支持布尔、短语、词语相似度等多种检索模式;

文档支持多个全文检索字段(最大不超过32个);

 

缺点:

 

必须要有主键

主键必须为整型

不负责数据存储

配置相当不灵活

posted @ 2015-10-22 16:45  hongxinerke  阅读(384)  评论(0编辑  收藏  举报