solr+mmseg4j 之二

之前使用的是solr+paoding,后来发现庖丁的分词表面上比较容易扩展,但是实际上并不需要那么细分地去为每个细分领域建立一个词典。再发现庖丁的分词过于琐屑,在实际的生产环境中没有mmseg4j效果好。

solr的配置就不多说了。

参考:http://wiki.apache.org/solr/SolrTomcat

关于mmseg4j的配置还得好好说说。

网上有篇很好的文章:

http://blog.chenlb.com/2009/04/solr-chinese-segment-mmseg4j-use-demo.html

说得比较详细了,不过我想对它的词典补充下:

第一,mmseg4j 默认的zip包是不带词典的,这点用户需要注意了,词典可以拷贝src包中的data目录,而且词典的词库是可以扩展的。

在zip包中都有说明。

第二,在客户端调用分词器的时候,不需要配置词典目录,mmseg4j目前版本都是在构造函数中传递词典路径的,这点不同于庖丁分词等分词组建。

例外会遇到tomcat jvm内存溢出的问题:

 java.lang.OutOfMemoryError: Java heap space

按照这篇文章修改既可以解决了。

http://blog.chinaunix.net/u2/61187/showart_1929168.html

posted @ 2009-09-16 11:19  searchDM  阅读(458)  评论(0编辑  收藏  举报