solr+mmseg4j 之二
之前使用的是solr+paoding,后来发现庖丁的分词表面上比较容易扩展,但是实际上并不需要那么细分地去为每个细分领域建立一个词典。再发现庖丁的分词过于琐屑,在实际的生产环境中没有mmseg4j效果好。
solr的配置就不多说了。
参考:http://wiki.apache.org/solr/SolrTomcat
关于mmseg4j的配置还得好好说说。
网上有篇很好的文章:
http://blog.chenlb.com/2009/04/solr-chinese-segment-mmseg4j-use-demo.html
说得比较详细了,不过我想对它的词典补充下:
第一,mmseg4j 默认的zip包是不带词典的,这点用户需要注意了,词典可以拷贝src包中的data目录,而且词典的词库是可以扩展的。
在zip包中都有说明。
第二,在客户端调用分词器的时候,不需要配置词典目录,mmseg4j目前版本都是在构造函数中传递词典路径的,这点不同于庖丁分词等分词组建。
例外会遇到tomcat jvm内存溢出的问题:
java.lang.OutOfMemoryError: Java heap space
按照这篇文章修改既可以解决了。