coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜索引擎详解
转载自：http://www.cnblogs.com/zhangyabin---acm/p/5926054.html
一， 前言
1,研究coreseek的动机
我有一个自己的笔记博客，经常在上面做一些技术文章分析。在查询一些文章的时候，以前只能将要查询的内容去mysql中用like模糊匹配。在文章多了的情况下，这样做法效率肯定不行。于是我把目标投向了中文搜索插件coreseek，并成功的把它使用到了我的项目当中。
效果图：
希望通过这篇分析，让有兴趣的同学少走些弯路。
2,概念介绍
sphinx是开源的搜索引擎，它支持英文的全文检索。但英文的天然分词符是空格，而中文则有比较复杂的分词要求。中国人提供了一个可供企业使用的，基于Sphinx的中文全文检索引擎。也就是说Coreseek实际上的内核还是Sphinx。但其最大的不同是coreseek有一个中文分词利器mmseg。
3,环境介绍
系统：Ubuntu
http服务：Apache/2.2.22
Mysql: Ver 14.14 Distrib 5.5.41
PHP： PHP 5.3.10
二， 下载并安装Coreseek
安装步骤
下载coreseek-3.2.14.tar.gz，并放置在/usr/local/src
首先，为了避免安装中出现依赖包缺失，你需要补一下血
apt-get install make gcc g++ automake libtool mysql-client libmysqlclient15-dev libxml2-dev libexpat1-dev
上面那个命令你执行就行，不然可能会因为软件包不够新出现各种奇葩问题。比如我就更新了159M的软件包。（我在遇到各种坑后才回头补的血）
1,安装mmseg分词模块
cd /usr/local/src tar zxvf coreseek-3.2.14.tar.gz #解压 cd coreseek-3.2.14 cd mmseg-3.2.14 ./bootstrap #输出的warning信息可以忽略，如果出现error则需要解决 ./configure --prefix=/usr/local/mmseg3 #配置 make #编译 make install #安装
1.1）可能遇到的问题和解决办法：
在执行./bootstrap时出现./bootstrap: 27: ./bootstrap: autoconf: not found 的错误，
原因：因为没有安装automake 工具, (ubuntu 10.04)用下面的命令安装好就可以了。
sudo apt-get install autoconf automake libtool
1.2）可能遇到的问题：在安装分词模块 mmseg ,编译安装到最后，出现annot find input file: src/Makefile.in 的错误
然后查了一下，只找到解决办法，如下：
aclocal //是一个perl 脚本程序，它的定义是：“aclocal - create aclocal.m4 by scanning configure.ac”
libtoolize --force //运行后有一个错误，不用管它。
automake --add-missing
autoconf
autoheader
make clean
然后在重新编译
./configure --prefix=/usr/local/mmseg3
make && make install
编译安装成功
总结：其实这个报错原因我也没查出来。反正按照解决办法就成功了，谁若知道拜托请留言，谢谢。
2、安装CoreSeek
cd /usr/local/src cd coreseek-3.2.14 cd csft-3.2.14 sh buildconf.sh #输出的warning信息可以忽略，如果出现error则需要解决 ./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql #配置 make #编译 make install #安装
3，测试mmseg分词、coreseek搜索、MySQL数据源
cd /usr/local/src
cd coreseek-3.2.14
cd testpack
cat /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml #此时应该正确显示中文，如下图所示
/usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml
/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all
/usr/local/coreseek/bin/search -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf 网络搜索
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-min.conf.dist
/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all --rotate #启动服务，更新索引
如图，且无报错。则说明你的coreseek已经能够正常运行了。
3.1）可能遇到的问题与解决办法：
在输入/usr/local/coreseek/bin/indexer -c etc/csft.conf --all，报xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing错误
原因：
缺少xmlpipe2库，解决：
apt-get install expat-*
然后重新编译coreseek，记得make clean
4，coreseek配置和使用
cp /usr/local/src/coreseek-3.2.14/testpack/etc/csft_mysql.conf /usr/local/coreseek/etc/csft_mysql.conf #拷贝MySQL数据源配置文件 ln -s /usr/local/coreseek/etc/csft_mysql.conf /etc/csft_mysql.conf #添加软连接 vim /etc/csft_mysql.conf #编辑，修改
三， 修改Coreseek配置文件
以我自己的配置文件为例：
/usr/local/coreseek/etc/csft_mysql.conf
#索引源定义
source mysql
{
type = mysql
sql_host = localhost
sql_user =xxxx
sql_pass =xxxx
sql_db =xxxx
sql_port = 3306
sql_query_pre = SET NAMES utf8
sql_query = SELECT id,id,uid,title,data FROM notebook_notepad
#sql_query第一列id需为整数
#title、data作为字符串/文本字段，被全文索引
sql_attr_uint = id #从SQL读取到的值必须为整数
#sql_attr_timestamp = time #从SQL读取到的值必须为整数，作为时间属性
sql_attr_uint = uid
sql_query_info_pre = SET NAMES utf8 #命令行查询时，设置正确的字符集
sql_query_info = SELECT * FROM notebook_notepad WHERE id=$id #命令行查询时，从数据库读取原始数据信息
}
#index定义
index mysql
{
source = mysql #对应的source名称
path =/usr/local/coreseek/var/data/mysql #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
docinfo = extern
mlock = 0
morphology = none
min_word_len = 1
html_strip = 0
#中文分词配置，详情请查看：http://www.coreseek.cn/products-install/coreseek_mmseg/
charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置，/符号结尾
#charset_dictpath = etc/ #Windows环境下设置，/符号结尾，最好给出绝对路径，例如：C:/usr/local/coreseek/etc/...
charset_type = zh_cn.utf-8
}
#全局index定义
indexer
{
mem_limit = 128M
}
#searchd服务定义
searchd
{
listen = 9312
read_timeout = 5
max_children = 30
max_matches = 1000
seamless_rotate = 0
preopen_indexes = 0
unlink_old = 1
pid_file =/usr/local/coreseek/var/log/searchd_mysql.pid #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
log =/usr/local/coreseek/var/log/searchd_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
query_log =/usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...
}
这样搜索的话就会从索引文件中查出id,uid,title,data字段。
OK，配置完成以后，重启Coreseek 服务就能从生产你想要的查询索引，以后你就可以摆脱mysql的桎梏，什么中文，英文都可以，还自带分词。怎么样，是不是打开了新世界的大门。
下面讲一下重建索引可能出错的地方，以及解决办法。有兴趣的同学看一下，否则可以跳到下一节：PHP测试Coreseek 。
重建索引时报错误：WARNING: failed to open pid_file '/usr/local/coreseek/var/log/searchd_mysql.pid'.
解决方法：
试着停止一下coreseek服务
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop 停止服务
然后重启
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf 启动服务
再次建立索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all 建立索引
如果提示:FATAL: failed to lock /usr/local/coreseek/var/data/xxxx.spl: Resource temporarily unavailable, will not index. Try --rotate option.
则尝试重建索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate 重建索引
四， PHP测试Coreseek
1，将sphinxapi.php放到测试目录下
cp /usr/local/src/coreseek-3.2.14/testpack/api/sphinxapi.php ./
vim test.php
header("Content-type: text/html; charset=utf-8");
//require("./ ");
$s = new SphinxClient;
$s->setServer("127.0.0.1", 9312);
//SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询
$s->setMatchMode(SPH_MATCH_ALL);
$s->setMaxQueryTime(30); //设置最大搜索时间
$s->SetArrayResult(false); //是否将Matches的key用ID代替
$s->SetSelect ( "*" ); //设置返回信息的内容,等同于SQL
$s->SetRankingMode(SPH_RANK_BM25);
$s->SetLimits ( 0, 30, 1000, 0 ); //设置结果集偏移量 SetLimits
$res = $s->query('coreseek','mysql','--single-0-query--'); #[coreseek]关键字，[mysql]数据源source
$err = $s->GetLastError();
echo '<pre>';
var_dump($res);
var_dump($res['matches']);
var_export($err);
echo '</pre>';
php5 test.php
运行结果：matches为匹配后的结果集
五， Coreseek在Thinkphp中的使用
1，Sphinx扩展安装安装
Coreseek官方教程中建议php使用直接include一个php文件进行操作，事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx！)已经进入了php的官方函数库，而且效率更高！但php模块依赖于libsphinxclient包。我是按照以下这篇文章的步骤安装了Sphinx扩展。
感谢：http://blog.csdn.net/e421083458/article/details/21529969
[第一步] 安装依赖libsphinxclient
# cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/ # ./configure --prefix=/usr/local/sphinxclient configure: creating ./config.status config.status: creating Makefile config.status: error: cannot find input file: Makefile.in #报错configure失败 //处理configure报错 编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误，然后运行下列指令再次编译就能通过了： # aclocal # libtoolize --force # automake --add-missing # autoconf # autoheader # make clean //从新configure编译 # ./configure # make && make install
[第二步] 安装sphinx的PHP扩展
http://pecl.php.net/package/sphinx # wget http://pecl.php.net/get/sphinx-1.3.0.tgz # tar zxvf sphinx-1.3.0.tgz # cd sphinx-1.3.0 # phpize # ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient # make && make install # cd /etc/php.d/ # cp gd.ini sphinx.ini # vi sphinx.ini extension=sphinx.so # service php-fpm restart
安装完PHP的Sphinx扩展后，就可以直接使用$coreseek = new SphinxClient();而无需引入源文件了。
简单说一下我在TP里使用coreseek查询，并高亮关键词的思路：
1,通过sphinx查出id，uid的集合
2，然后$sql = "select * from post where id in($ids)";$res = mysql_query($sql);获取到数据库的真实数据
3，用BuildExcerpts将title和data的关键字高亮，然后分页展示
关键代码：
$where = array();
$where['uid']=$uid;
if(!empty($search)){ //有需要查找的内容，则去 coreseek 忠查出对应的id
$coreseek = new \SphinxClient();
$coreseek->setServer("127.0.0.1", 9312);
//SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询
$coreseek->setMatchMode(SPH_MATCH_ALL);
$coreseek->setMaxQueryTime(30); //设置最大搜索时间
$coreseek->SetArrayResult(false); //是否将Matches的key用ID代替
$coreseek->SetSelect ( "*" ); //设置返回信息的内容,等同于SQL
$coreseek->SetLimits ( 0, 30, 1000, 0 ); //设置结果集偏移量 SetLimits
$res = $coreseek->query($search,'mysql','--single-0-query--');
$key = array_keys($res['matches']);
$where['id']=array('in',$key);
$coreseek->close();
}else{
}
//获取总数据条数
$total=$mod->where($where)->count();
高亮的关键代码：
if(!empty($search)){
$page->parameter['search']=$search;
//代码高亮
$opt = array("before_match"=>"<font style='font-weight:bold;color:#f00'>","after_match"=>"</font>");
$coreseek1 = new \SphinxClient();
$coreseek1->setServer("127.0.0.1", 9312);
$coreseek1->SetMatchMode(SPH_MATCH_ALL);
$i=0;
$tags_title=array();
foreach($info as $key=>$row){
$tags_title[]=$row['title'];
}
$replace_title=$coreseek1->BuildExcerpts($tags_title,'mysql',$search,$opt);
foreach($info as $key=>&$row){
$info[$key]['title']=$replace_title[$key];
}
$coreseek1->close();
}
OK，至此，coreseek已经能够在TP里完美运行了。这篇分享的文章也可以画上句号了。以上是我一步步安装时的细节，记录下怕以后自己忘记，也希望能给感兴趣的同学一些帮助。文章信息量偏大，如果有哪些疏漏，万望指正！
