2016年4月6日
spark处理大规模语料库统计词汇
摘要： 最近迷上了spark，写一个专门处理语料库生成词库的项目拿来练练手， github地址：https://github.com/LiuRoy/spark_splitter。代码实现参考wordmaker项目，有兴趣的可以看一下，此项目用到了不少很tricky的技巧提升性能，单纯只想看懂源代码可以参考w 阅读全文
posted @ 2016-04-06 23:17 腩啵兔子 阅读(1920) 评论(2) 推荐(2) 编辑