文本分类现已比较成熟,各类开源工具不少,现推荐几个比较常用简单的工具:
1、scikit-learn:http://scikit-learn.org/stable/index.html
python编写调用,里面有各种分类算法svm、随机森林、贝叶斯等,和特征提取,如字、ngram等,几行代码便可以构建一个分类任务。
2、WEKA:http://www.cs.waikato.ac.nz/ml/index.html
具有图形界面,但是感觉速度有点慢
3、libsvm :http://www.csie.ntu.edu.tw/~cjlin/libsvm/
仅提供svm的核心算法,不具备特征提取,需自行编写,相对较为灵活
分词工具:
1、计算所的分词工具:http://ictclas.org/
该分词工具,计算所暂时没有维护
2、哈工大的分词工具
在计算所的基础上又增加了训练数据,相对来说,分词效果优于计算所的
3、ansjsun:http://www.nlpcn.org/demo#
继承于计算所的分词工具,效果和调用方式等都较为简单。
|