用Sphinx 建立搜索引擎
1. 介绍
实际上 sphinx的网站上的title 说的很清楚，这个是一个 “免费开源的SQL 全文索引搜索引擎”。当然，它不是一个完整的搜索引擎，只提供索引 和 查询接口。所以，学习sphinx 主要是要学习：如何建立索引，如何调用查询接口。
他的作者只有一个人，但是，功能的确非常强大。目前，支持下面的特性：
n 高速索引（10M/s, 主流cpu配置）
n 高速查询(2-4G 文本，大概只要0.1s)
n 排序采用的BM25 和 短语相似度 相结合的排序方法，而非向量空间模型。
n 提供分布式搜索功能
n 灵活的查询接口，支持布尔、短语、词语相似度等多种检索模式;
n 可以支持单字节（GBK）和 utf8 编码的数据源
当然，sphinx 也有很多的缺点：
1. 分词比较难搞定，sphinx 是 C 写的，要嵌入分词算法，还是要做很多的工作。
一般现在用分词不是很准确的 LibMMSeg 进行切分。当然，分词不准确一般不会非常的影响搜索的体验。所以没有必要过于强调这一点。如果你要做的不是一个非常精致的搜索，sphinx 肯定是够用了。
2. 大多数开源搜索都基本上基于纯文本搜索的理论。并没有对文本的结构进行深入的挖掘。比如pagerank，html 标签标定的关键字，锚文字 等。如果，你要做一个比较好的垂直搜索引擎，可以考虑引入pagerank的机制，当然，存C 的 sphinx 肯定会降低你的开发效率。
说了这样多，只是想说和lucunece 相比，可扩展性差点。但是效率非常高。
2. 安装
http://faq.phpwind.net/answer-567
上面这个链接中有一个很好的教程，一步一步的做下去就能安装成功了。下面补充一点东西：
安装searchd 服务要用下面的命令：
Searchd -–install –c /path/to/config
注意 install 前面是两个 “-”，c前面是一个 “-”
还要一点要注意配置一个 stopwords 。方法是，建立一个stopwords 的列表，每个字用空格分开来，然后在每个index 的选项里面加一个 stopwords = /path/to/stopwords.txt
3. 索引
索引的技巧也在 http://faq.phpwind.net/answer-567 有一个例子，这个是一个典型的增量索引的例子。当然，增量索引的配置方法不只是一种。下面谈谈怎么更新增量索引。
1. 每10分钟，建立一次增量索引。千万不要每10分钟就合并一次索引，实际上，合并索引也非常的消耗时间。
2. 每天的晚上可以更新全部的索引。
增量索引不能反映删除 和 修改的内容，所以，建议主索引要经常的更新。一般来说，对于100万数据左右的情况，这样的方法都是可以的。
但是，如果数据量还要大的话，就采用分段索引。一个索引 是基本上不会改动的索引，比如，一年前的帖子了。一个索引是最近一年的帖子，最后一个索引是增量索引。虽然这样，会同时 要从三个索引里面搜索，影响了性能，但是，可以保证近期的比如 10W数据 很容易的被更新。而一年前的数据可以考虑一个月索引更新一次。对三个索引，还可以设置权重，增量索引设置最大，因为是最新的内容，往往是热点，大家比较关注的，可以靠前点。近一年的数据，排名第二，最后一年以外的数据，基本过时，可以排后面一些。
4. 搜索
搜索其实从手册中已经很明白的说明了。
下面要谈一下可能会出现问题的地方：
1.搜索的模式：
一般来说，比较常用的两种模式是：SPH_MATCH_ALL SPH_MATCH_ANY。 但是 coreseek 分装的中文搜索有比较严重的问题，特别是 SPH_MATCH_ANY 是有bug的（我在GBK模式下发现是有bug的，这里有讨论：http://www.coreseek.cn/forum/2_171_0.html ），所以我选择用：SPH_MATCH_EXTENDED 模式来代替。如果是或者的关系，可以这样做：
buildKeywords 先分词，然后再组合成一个查询表达式，进行查询。详细的看后面代码中的例子。
2.搜索索引的参数：
query 函数允许传递多个索引，不同的索引用 “|” 分开，但是，加亮函数只要传递主索引就好了，千万不要传多个。否则会返回false 。加亮函数中，还会传递一个关键字，如果是多个，就用 | 隔开。
下面是我为verycms 写的一个简单的 搜索调用接口，提供大家参考：
class Cms_Search_API
{
private $host;
private $port;
private $db;
private $indexs;
private $searchd;
private $keywords;
private $total;
function __construct($db = null, $host = 'localhost', $port = 3312, $indexs = "cmsindex|addcmsindex")
{
if ($db === null) {
global $db;
}
$this->host = $host;
$this->port = $port;
$this->db = $db;
$this->indexs = $indexs;
$index = explode("|", $this->indexs);
$this->mainIndex = $index[0];
$this->searchd = new SphinxClient();
$this->searchd->setServer($this->host, $this->port);
$this->searchd->setMatchMode(SPH_MATCH_EXTENDED);
}
function setLimits($page = 1, $limit = 10)
{
$offset = ($page - 1) * $limit;
$this->searchd->setLimits($offset, $limit, 1000);
return $this;
}
function setWhere($field, $value)
{
if (!is_array($value)) {
$value = array($value);
}
$this->searchd->setFilter($field, $value);
return $this;
}
/**
* set how to sort the search result.
*
* @param int $mode SPH_SORT_ATTR_DESC or SPH_SORT_ATTR_ASC
* @param string $sortby sort field.
*/
function setSortMode($sortby = 'postdate', $mode = SPH_SORT_ATTR_DESC)
{
$this->searchd->setSortMode(SPH_SORT_ATTR_DESC, $sortby);
return $this;
}
function find($query)
{
$result = $this->searchd->query($this->prepare($query), $this->indexs);
$ids = array_keys($result['matches']);
unset($result['matches']);
$this->total = $result['total'];
if (empty($ids)) {
return false;
}
$data = $this->fetchContents($ids);
return $data;
}
function getTotal()
{
return $this->total;
}
function getList($query, $page = 1, $sortby = null, $limit = 10, $sort_mode = SPH_SORT_ATTR_DESC)
{
$this->setLimits($page);
if ($sortby) {
$sort_mode = empty($sort_mode) ? SPH_SORT_ATTR_DESC : $sort_mode;
$this->setSortMode($sortby, $sort_mode);
}
if ($result = $this->find($query)) {
$this->buildExcerpts($result, "content");
$this->buildExcerpts($result, "title");
}
return $result;
}
function buildExcerpts(&$data, $field = "content")
{
$contents = array();
foreach ($data as $item)
{
$item = trim(strip_tags($item[$field]));
$contents[] = preg_replace("/\s+/", "", $item);
}
$contents = $this->searchd->buildExcerpts($contents, $this->mainIndex, $this->keywords);
foreach ($data as $k => &$v) {
$v[$field] = $contents[$k];
}
return $data;
}
/**
* fetch content from database;
*
* @param array $ids tids
* @return array search result
*/
private function fetchContents($ids)
{
$q = "SELECT th.tid,th.cid, th.title, th.postdate, th.hits, t.content, t.author, th.linkurl , th.url
FROM cms_contentindex th
LEFT JOIN cms_content1 t
USING (tid)
WHERE th.tid in (" . implode(",", $ids) . ")";
$result = $this->db->query($q);
$data = array();
$score = array_flip($ids);
$score_sort = array();
while ($line = $this->db->fetch_array($result))
{
$line['score'] = $score[$line['tid']];
$data[] = $line;
$score_sort[] = $line['score'];
}
array_multisort($score_sort, SORT_ASC, SORT_NUMERIC, $data);
return $data;
}
/**
* prepare the search query, and then use SPH_MATCH_EXTENDED mode to query.
*
* @param string $query string to search
* @return string of extend style.
*/
private function prepare($query)
{
$keywords = $this->searchd->buildKeywords($query, $this->mainIndex, false);
$query = array();
foreach ($keywords as $key) {
$query[] = $key["tokenized"];
}
$query = implode("|", $query);
$query = iconv("utf-8", "gbk", $query);
$this->keywords = $query;
return $query;
}
}
?>
下面是调用的例子：
require_once "global.php";
require_once "require/cms_search_api.php";
$search = new Cms_Search_API($db);
$page = 1;
$sortby = 'postdate'; //hits or null
$search->setWhere("cid", 5);
$result = $search->getList("提升6-12个月宝宝记忆力的游戏", $page, $sortby);
print_r($result);
?>
