zhparser是什么

zhparser是什么


zhparser是一个PostgreSQL中文分词的插件,通过它,可以使PostgreSQL支持中文的全文检索(Full Text Search)。

为什么需要zhparser


一般英语等语言分词比较简单,按照标点、空格切分语句即可获得有含义的词语,PostgreSQL自带的parser就是按照这个原理来分词的,比较简单。而中文就比较复杂,词语之间没有空格分割,长度也不固定,怎么分词有时还跟语句的语义有关,因此PG自带的parser不能用来做中文分词。使用zhparser这个插件,便可以使PG支持中文分词,继而可以使用PG做中文全文检索。

zhparser原理是什么


zhparser用C语言实现了PostgreSQL TEXT SEARCH PARSER需要的接口,这些接口会调用SCWS中文分词引擎进行分词。

zhparser使用手册

安装zhparser插件


1.安装SCWS

wget -q -O - http:www.xunsearch.com/scws/downscws-1.2.1.tar.bz2 | tar xjf - cd scws-1.2.1 ;./configure ; make install

2.下载zhparser源码

git clone https:github.com/amutu/zhparser.git

3.编译和安装zhparser

SCWS_HOME=usr/local make && make install

注意:如果在*BSD系统上进行编译安装,请使用gmake代替make

5.创建extension

psql dbname superuser -c 'CREATE EXTENSION zhparser'

使用zhparser进行中文分词


TODO

使用PostgreSQL进行中文全文检索


TODO

Media WiKi中文全文检索配置


TODO

zhparser高级用法


查看SCWS的用法:SCWS官网

zhparser相关链接


阿弟的文章:postgreql实现中文全文搜索的方法之---zhparser

zhparser源代码github:https:github.com/amutu

zhparser pgxn主页:http:pgxn.org/dist/zhparser

posted @   ldp.im  阅读(689)  评论(0编辑  收藏  举报
编辑推荐:
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
阅读排行:
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
点击右上角即可分享
微信分享提示