Linux下coreseek环境安装 、mysql数据源、sphinx扩展安装及php调用
一、安装m4-1.4.13、autoconf-2.64、automake-1.11、libtool-2.2.6
下载安装m4-1.4.13、autoconf-2.64、automake-1.11、libtool-2.2.6，coreseek安装搭好安装环境。
1 m4-1.4.13下载地址： http://mirrors.kernel.org/gnu/m4/m4-1.4.13.tar.gz 2 $ tar -xzvf m4-1.4.13.tar.gz 3 $ cd m4-1.4.13 4 $ ./configure --prefix=/usr/local 5 $ make && make install 6 $ cd .. 7 8 autoconf-2.64下载地址： http://mirrors.kernel.org/gnu/autoconf/autoconf-2.64.tar.gz 9 $ tar -xzvf autoconf-2.64.tar.gz 10 $ cd autoconf-2.64 11 $ ./configure --prefix=/usr/local 12 $ make && make install 13 $ cd .. 14 15 automake-1.11下载地址： http://mirrors.kernel.org/gnu/automake/automake-1.11.tar.gz 16 $ tar xzvf automake-1.11.tar.gz 17 $ cd automake-1.11 18 $ ./configure --prefix=/usr/local 19 $ make && make install 20 $ cd .. 21 22 libtool-2.2.6下载地址： http://mirrors.kernel.org/gnu/libtool/libtool-2.2.6b.tar.gz 23 $ tar xzvf libtool-2.2.6b.tar.gz 24 $ cd libtool-2.2.6b 25 $ ./configure --prefix=/usr/local 26 $ make && make install 27 $ cd ..
二、安装mmseg(coreseek所使用的词典)
1 tar xzvf coreseek-3.2.14.tar.gz 2 cd mmseg-3.2.14 3 ./bootstrap #输出的warning信息可以忽略，如果出现error则需要解决 4 ./configure --prefix=/usr/local/mmseg3 5 make && make install
三、安装coreseek(sphinx)
1 cd csft-3.2.14 2 sh buildconf.sh #输出的warning信息可以忽略，如果出现error则需要解决 3 ./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql=/usr/
4 （如果出现mysql问题，须检查是否安装mysql，--with-mysql=mysql的安装位置） 5 make && make install
四、测试mmesg分词，coreseek搜索（需要预先设置好字符集为zh_CN.UTF-8，确保正确显示中文）
1 $ cd testpack 2 $ cat var/test/test.xml #此时应该正确显示中文 3 $ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml 4 $ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all 5 $ /usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索
如果出现 xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing XML libra 的错误
执行命令：
1 apt-get install expat-devel
重现编译coreseek，步骤三，注意make clean.
测试结果如下：
1 $ cd testpack 2 $ cat var/test/test.xml #此时应该正确显示中文 3 $ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml 4 $ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all 5 $ /usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索 6 返回结果： 7 words: 8 1. '网络': 1 documents, 1 hits 9 2. '搜索': 2 documents, 5 hits
五、建立mysql数据源的配置文件
编写配置文件my.conf:
1 #源定义 2 source files 3 { 4 type = mysql 5 sql_host = localhost 6 sql_user = root 7 sql_pass = f103 8 sql_db = test 9 sql_port = 3306 #default is 3306 10 sql_query_pre = SET NAMES utf8 11 sql_query = SELECT id,filepath,filename,filesize,filemtime,filelabel As label from files 12 sql_query_info_pre = SET NAMES utf8 13 sql_query_info = SELECT * FROM files WHERE id=$id #命令行查>询时，从数据库读取原始数据信息 14 } 15 16 #索引 17 index files 18 { 19 source = files 20 path = /usr/local/coreseek/var/data/files 21 docinfo = extern 22 charset_dictpath = /usr/local/mmseg3/etc/ 23 charset_type = zh_cn.utf-8 24 mlock = 0 25 morphology = none 26 min_word_len = 1 27 html_strip = 0 28 } 29 30 #索引器 31 indexer 32 { 33 mem_limit = 128M 34 } 35 36 #守护进程 37 searchd 38 { 39 port = 9312 40 log = /usr/local/coreseek/var/log/searchd_files.log 41 query_log = /usr/local/coreseek/var/log/query_files.log 42 read_timeout = 5 43 max_children = 30 44 pid_file = /usr/local/coreseek/var/log/searchd_files.pid 45 max_matches = 1000 46 seamless_rotate = 1 47 preopen_indexes = 0 48 unlink_old = 1 49 }
六、建立test数据库，其中包含表files
id：id值，主键，自增
filepath：文件路径
filename：文件名
filesize：文件大小
filemtime：文件最后修改日期
filelabel：文件标签、描述
1 CREATE TABLE files ( 2 id int primary key not null auto_increment, 3 filepath varchar(255) not null, 4 filename varchar(255) not null, 5 filesize varchar(255) not null, 6 filemtime varchar(255) not null, 7 filelabel text 8 ); 9 10 INSERT INTO files (id,filepath, filename, filesize,filemtime,filelabel) VALUES (1,'/mnt/fuse/text1.txt', 'text1.txt', '1M', '2014-07-23 10:00:00', '测试文件'); 11 12 INSERT INTO files (id,filepath, filename, filesize,filemtime,filelabel) VALUES (2,'/mnt/fuse/test2.txt', 'text2.txt', '241M', '2014-07-23 11:09:11', '据国外媒体报道，谷歌将巨资收购百度，涉及金额高达300亿美元。谷歌借此重返大陆市场。 13 该报道称，目前谷歌与百度已经达成了收购协议，将择机对外公布。百度的管理层将100%保留，但会将项目缩减，包括有啊商城，以及目前实施不力的凤巢计划。正在进行测试阶段的视频网站qiyi.com将输入更多的Youtube资源。 14 (YouTube在大陆区因内容审查暂不能访问)。 15 该消息似乎得到了谷歌CEO施密特的确认，在其twitter上用简短而暧昧的文字进行了表述：“ Withdraw from that market? u\'ll also see another result, just wait... ” 意思是：从那个市场退出?你还会看到另外一个结果。 16 毫无疑问，那个市场指的就是中国大陆。而另外的结果，对应此媒体报道，就是收购百度，从而曲线返回大陆搜索市场。 17 在最近刚刚结束的深圳IT领袖峰会上，李彦宏曾言，“谷歌没有退出中国，因为还在香港”。也似乎在验证被收购的这一事实。 18 截止发稿，百度的股价为597美元，市值为207亿美元。谷歌以高达300亿美元的价格，实际溢价高达50%。而谷歌市值高达1796亿美元，而且手握大量现金，作这样的决策也在情理之中。 19 近日，很多媒体都在报道百度创始人、CEO李彦宏的两次拒购：一次是百度上市前夕，李彦宏拒绝谷歌的并购，这个细节在2月28日央视虎年首期对话节目中得到首次披露﹔一次是在百度国际化战略中，拒绝采用海外并购的方式，>而是采取了从日本市场开始的海外自主发展之路。这也让笔者由此开始思考民族品牌的发展之路。 20 收购是打压中国品牌的惯用伎俩 21 2010年2月28日，央视经济频道《对话》节目昨晚推出虎年首期节目，百度董事长兼CEO李彦宏作为嘉宾做客节目。李彦宏首度谈及2005年百度上市前夕，谷歌CEO施密特曾秘密造访百度时秘密谈话的内容，主要是劝阻百度上市，李 22 彦宏断然拒绝了施密特的“好意”。今天看来，施密特当日也许已有不祥的预感，这个几百人的小公司终有一日会成为他们的大麻烦。 23 本期《对话》一经播出，便引发了业界讨论。 24 外资品牌通过收购打压中国品牌的案例不胜枚举。从以往跨国企业并购的中国品牌来看，真正让其活下来的品牌并不多，要么被雪藏，要么被低端化。 25 因此，2005年百度没有接受Google的收购邀请，坚持自主发展，这对于保护中国品牌，维护中国网民信息安全有着至关重要的作用。当前百度市场份额高达76%，并持续增长，这也充分验证了李彦宏拒绝收购决策的正确性。 26 今天看来，“百度一下”已经成为3亿多中国网民的网络生存法则，而直到今天环视全球，真正能像中国一样，拥有自己独立搜索引擎的只有4个国家！我们也许应该庆幸当时李彦宏的选择。这个故事也告诉我们，中国企业做品牌还>要靠自己！ 27 收购也可能是中国企业走出去的陷阱 28 同样在2月28日，亚布力第十届年会上，李彦宏在论坛上指出：“我们和很多其它公司的国际化路子是很不一样的，我们不是去买一个国外的公司，”，李彦宏解释了百度率先选择日本作为走出去的对象的原因，因为日本和中国一衣 29 带水的近邻优势，日本的市场规模，在日本也没有一家独大的搜索引擎。 30 中国企业收购这些外资品牌目的是“借船出海”。外资品牌进入中国是收购中国优质品牌，而中国企业进入国外市场的收购策略恰恰相反，这也是中国企业借船出海屡屡失败的原因所在。 31 笔者认为，中国互联网公司走出去要依靠自身发展，并不能单纯依靠收购。李彦宏在百度成立伊始就抱定了国际化决心，使百度真正在面对国际化机遇时，更加冷静和具有前瞻力。李彦宏也承认当前百度在日本还处于初级发展阶>段，但他也预言“2012年，百度与Google划洋而治”，对此我们拭目以待！'); 32 33 INSERT INTO files (id,filepath, filename, filesize,filemtime,filelabel) VALUES (3,'/mnt/fuse/text3.txt', 'text3.txt', '31M', '2014-07-23 10:20:20', '测试，音乐，刘泉，查不到这条记录吗！！！');
七、执行索引（查询、测试前必须执行一次）
1 /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/my.conf --all --rotate
八、启动searchd服务
1 # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/my.conf
如果第一次出现pid文件不存在的情况，可以使用：
1 # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/my.conf --pidfile
九、查询关键字
1 # /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/my.conf 测试 2 Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)] 3 Copyright (c) 2007-2011, 4 Beijing Choice Software Technologies Inc (http://www.coreseek.com) 5 6 using config file '/usr/local/coreseek/etc/my.conf'... 7 index 'files': query '测试 ': returned 3 matches of 3 total in 0.003 sec 8 9 displaying matches: 10 1. document=1, weight=1 11 id=1 12 filepath=/mnt/fuse/anime.mp4 13 filename=anime.mp4 14 filesize=287M 15 filemtime=2014-07-23 11:09:11 16 filelabel=测试数据，到底有没有！！！ 17 2. document=2, weight=1 18 id=2 19 filepath=/mnt/fuse/test1.txt 20 filename=test1.txt 21 filesize=7M 22 filemtime=2014-07-23 11:28:11 23 filelabel=据国外媒体报道，谷歌将巨资收购百度，涉及金额高达300亿美元。谷歌借此重返大陆市场。 24 该报道称，目前谷歌与百度已经达成了收购协议，将择机对外公布。百度的管理层将100%保留，但会将项目缩减，包括有啊商城，以及目前实施不力的凤巢计划。正在进行测试阶段的视频网站qiyi.com将输入更多的Youtube资源。 25 (YouTube在大陆区因内容审查暂不能访问)。 26 该消息似乎得到了谷歌CEO施密特的确认，在其twitter上用简短而暧昧的文字进行了表述：“ Withdraw from that market? u'll also see another result, just wait... ” 意思是：从那个市场退出?你还会看到另外一个结果。 27 毫无疑问，那个市场指的就是中国大陆。而另外的结果，对应此媒体报道，就是收购百度，从而曲线返回大陆搜索市场。 28 在最近刚刚结束的深圳IT领袖峰会上，李彦宏曾言，“谷歌没有退出中国，因为还在香港”。也似乎在验证被收购的这一事实。 29 截止发稿，百度的股价为597美元，市值为207亿美元。谷歌以高达300亿美元的价格，实际溢价高达50%。而谷歌市值高达1796亿美元，而且手握大量现金，作这样的决策也在情理之中。 30 近日，很多媒体都在报道百度创始人、CEO李彦宏的两次拒购：一次是百度上市前夕，李彦宏拒绝谷歌的并购，这个细节在2月28日央视虎年首期对话节目中得到首次披露﹔一次是在百度国际化战略中，拒绝采用海外并购的方式，>而是采取了从日本市场开始的海外自主发展之路。这也让笔者由此开始思考民族品牌的发展之路。 31 收购是打压中国品牌的惯用伎俩 32 2010年2月28日，央视经济频道《对话》节目昨晚推出虎年首期节目，百度董事长兼CEO李彦宏作为嘉宾做客节目。李彦宏首度谈及2005年百度上市前夕，谷歌CEO施密特曾秘密造访百度时秘密谈话的内容，主要是劝阻百度上市，李 33 彦宏断然拒绝了施密特的“好意”。今天看来，施密特当日也许已有不祥的预感，这个几百人的小公司终有一日会成为他们的大麻烦。 34 本期《对话》一经播出，便引发了业界讨论。 35 外资品牌通过收购打压中国品牌的案例不胜枚举。从以往跨国企业并购的中国品牌来看，真正让其活下来的品牌并不多，要么被雪藏，要么被低端化。 36 因此，2005年百度没有接受Google的收购邀请，坚持自主发展，这对于保护中国品牌，维护中国网民信息安全有着至关重要的作用。当前百度市场份额高达76%，并持续增长，这也充分验证了李彦宏拒绝收购决策的正确性。 37 今天看来，“百度一下”已经成为3亿多中国网民的网络生存法则，而直到今天环视全球，真正能像中国一样，拥有自己独立搜索引擎的只有4个国家！我们也许应该庆幸当时李彦宏的选择。这个故事也告诉我们，中国企业做品牌还>要靠自己！ 38 收购也可能是中国企业走出去的陷阱 39 同样在2月28日，亚布力第十届年会上，李彦宏在论坛上指出：“我们和很多其它公司的国际化路子是很不一样的，我们不是去买一个国外的公司，”，李彦宏解释了百度率先选择日本作为走出去的对象的原因，因为日本和中国一衣 40 带水的近邻优势，日本的市场规模，在日本也没有一家独大的搜索引擎。 41 中国企业收购这些外资品牌目的是“借船出海”。外资品牌进入中国是收购中国优质品牌，而中国企业进入国外市场的收购策略恰恰相反，这也是中国企业借船出海屡屡失败的原因所在。 42 笔者认为，中国互联网公司走出去要依靠自身发展，并不能单纯依靠收购。李彦宏在百度成立伊始就抱定了国际化决心，使百度真正在面对国际化机遇时，更加冷静和具有前瞻力。李彦宏也承认当前百度在日本还处于初级发展阶>段，但他也预言“2012年，百度与Google划洋而治”，对此我们拭目以待！ 43 3. document=3, weight=1 44 id=3 45 filepath=/mnt/fuse/test2.txt 46 filename=test2.txt 47 filesize=17M 48 filemtime=2014-07-01 11:28:11 49 filelabel=音乐文件，刘泉，测试用用，查不出来吗 50 51 words: 52 1. '测试': 3 documents, 3 hits 53 54 # /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/my.conf 音乐 55 Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)] 56 Copyright (c) 2007-2011, 57 Beijing Choice Software Technologies Inc (http://www.coreseek.com) 58 59 using config file '/usr/local/coreseek/etc/my.conf'... 60 index 'files': query '音乐 ': returned 1 matches of 1 total in 0.003 sec 61 62 displaying matches: 63 1. document=3, weight=1 64 id=3 65 filepath=/mnt/fuse/test2.txt 66 filename=test2.txt 67 filesize=17M 68 filemtime=2014-07-01 11:28:11 69 filelabel=音乐文件，刘泉，测试用用，查不出来吗 70 71 words: 72 1. '音乐': 1 documents, 1 hits
九、安装sphinx扩展
1、安装libsphinxclient
1 # cd /home/liuquan/Desktop/coreseek/coreseek-3.2.14/csft-3.2.14/api/libsphinxclient 2 # ./configure --prefix=/usr/local/sphinxclient 3 # make && make install
2、安装sphinx的PHP扩展
1 下载地址：http://pecl.php.net/package/sphinx 2 # tar zxvf sphinx-1.3.0.tgz 3 # cd sphinx-1.3.0 4 # phpize （如果没有phpize,需要apt-get install php5-dev） 5 # ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient 6 # make && make install
3、修改配置
1 # cd /etc/php5/conf.d 2 # vim sphinx.ini 3 # 4 # 修改sphinx.ini，添加extension=sphinx.so 5 # service apache2 restart
查看phpinfo，sphinx扩展是否成功
十、php代码测试
1 <?php 2 $s = new SphinxClient; 3 $s->setServer("127.0.0.1", 9312); 4 5 $s->setMatchMode(SPH_MATCH_PHRASE); 6 $s->setMaxQueryTime(30); 7 $res = $s->query("测试",'files'); #[测试]关键字，[files]数据源source 8 9 var_dump($res); 10 echo "<br>"; 11 12 $value = array_keys($res['matches']); 13 var_dump($value); 14 echo "<br>"; 15 ?>
