weka 初练之 文本分类

0.注意weka的中文编码
RunWeka.ini-----》fileEncoding=utf-8
1.首先对分词后的 无新词发现的分词文件，转换成arff文件 命令
java weka.core.converters.TextDirectoryLoader -dir D:\weibo\catagory\data10W\nlpirSegment\noNI > D:\weibo\catagory\data10W\nlpirSegment\weka\wb10w.arff
发现转换 特别快
2.打开上面的文件 进行生成词向量，首先选择 通过特征的有无，1000特征/每类文档 ，最后保存当前文件 wb10w_vsm_true_false_weight.arff
生成6千多个特征
3.打开上面的arrf文件，进行特征选择 ，评估策略选择 IG，搜索策略选择Ranker 特征数5000，保存文件wb10w_as_true_false_weight.arrf
4.bayes 分类器 66训练数据 结果复制到 result文件中